Régulièrement, lors de formations, j'ai bien sûr la remarque : "Nous ne pouvons pas publier, car nos résultats étaient négatifs". Erreur, et je vous suggère de consulter dans le JAMA, un article français rapportant des données négatives d'un PHRC (Programme Hospitalier de Recherche Clinique).
Le titre de l'article : "Effect of High-Cutoff Hemodialysis vs Conventional Hemodialysis on Hemodialysis Independence Among Patients With Myeloma Cast Nephropathy. A Randomized Clinical Trial", en décembre 2017.
La conclusion des auteurs est claire : "Among patients with myeloma cast nephropathy treated with a bortezomib-based 
chemotherapy regimen, the use of high-cutoff hemodialysis compared with conventional hemodialysis did not result in a statistically significant difference in hemodialysis independence at 3 months. However, the study may have been underpowered to identify an early clinically important difference."
Les auteurs : une collaboration de néphrologues hospitaliers français, avec Inserm ; le premier auteur est Frank Bridoux de Poitiers. Des collègues dans vos CHU vous confirmeront que publier des études négatives est possible… mais dans quelles revues ? Faire des études collaboratives de qualité prend du temps. Le protocole a été enregistré dans ClinicalTrials, c'est la base ! L'article est bien écrit, pas trompeur. BRAVO.
L'éditorial : il accompagne l'article, et a probablement été écrit par un des reviewers (hypothèse, car je ne sais pas).
Je remercie F Bridoux, premier auteur, qui m'a communiqué des informations : "soumission au PHRC national cancer en 2007, acceptation en 2009, déblocage des fonds et début des inclusions…en 2011"…. "Nous avions les résultats à l'été 2016, et le papier a été soumis à JAMA début mai 2017, après un refus rapide de NEJM et Lancet."…. "l'étude manquait probablement de puissance pour montrer une différence à 3 mois, et les critères secondaires (taux de sortie de dialyse à 6 et 12 mois significativement plus élevés) étaient positifs, suggérant l'intérêt d'une étude plus vaste pour répondre à la question posée."
Cet article a eu de la visibilité, et il a été tweeté 74 fois (au 10 juillet 2018). Nous avons déjà présenté des résultats négatifs dans le JAMA. Les rédactions des revues considèrent les résultats négatifs, mais les manuscrits correspondants à ces recherches sont rarement écrits et soumis.
3 commentaires
Comment peut-on parler d' »étude négative » ? Cette expression est en elle-même un déni de science.
Rappelons d’abord que le fondement même de la science, bien avant que Popper le formalise, a toujours été de dire le faux. Le vrai est une notion à laquelle elle ne prétend pas, qui relève des croyances. Techniquement, on peut démontrer qu’une idée est erronée, mais on ne peut jamais que supputer qu’elle ne l’est pas. Une théorie peut être invalidée par un fait, mais elle ne peut jamais être considérée comme vraie. Elle reste seulement utile tant que l’expérience conforte sa vraisemblance.
D’autre part, le principe même des études cliniques repose sur la réfutation d’une hypothèse (dite « nulle ») qui est l’absence de différence entre deux groupes. Ainsi, observer une différence est un résultat négatif : il rejette l’hypothèse nulle, avec un degré de confiance qui rend en outre toute conclusion seulement probabiliste. On peut seulement dire d’une expérience qu’elle est plus ou moins significative, et qu’elle invalide ou non une conjecture. Parler de « résultat positif » est un redoutable abus de langage – dont on n’ignore évidemment pas les profits qu’il vise.
Toute étude clinique de puissance suffisante est informative, et aucun résultat méthodologiquement valide ne devrait être passé sous silence. Taire des résultats non conformes aux attentes doit être considéré comme une faute grave, tant du point de vue scientifique que du point de vue déontologique – voire légal. Il s’agit généralement de taire un fait contraire à des intérêts. C’est parfois seulement pour cacher ce qui fragiliserait la théorie qu’on professe.
Néanmoins, publier des résultats méthodologiquement non valides est une autre faute, tout aussi courante. On pourrait (et on devrait) qualifier de « négative » toute étude que sa conception ou sa réalisation rend ininterprétable. De ce point de vue, le manque de puissance est, de loin, le mal le plus répandu. On sait bien pourquoi le risque alpha (idole industrielle) est malheureusement beaucoup plus craint que le risque bêta, véritable cancer de la science.
Il devrait être formellement interdit de publier des conclusions fondées sur des études de puissance insuffisante. Bien entendu, ces dernières sont très intéressantes à analyser (en l’absence de tout résultat) afin de faire connaître les conditions nécessaires pour obtenir des résultats significatifs dans le contexte de l’expérience. Dans cet esprit, on pourrait alors parler d' »études négatives », qu’on devrait plutôt dire « stériles ». Même celles-là sont potentiellement riches d’enseignements. Leurs auteurs pourraient ainsi satisfaire à leur obligation de publier, quitte à devoir faire preuve d’une trop inhabituelle humilité.
Pour compléter mon commentaire, une conclusion ; je propose que l’on ne parle que :
– d’études : contributives (fructueuses) vs stériles (infructueuses)
– de résultats : (très ou assez) significatifs vs (peu ou nullement) significatifs
– de conclusions : impactantes (pour la pratique ou la théorie) vs sans impact (sur le paradigme en vigueur)
Les termes « positif » et « négatif » mériteraient d’être bannis.
Merci pour votre commentaire constructif, et bien d’accord. Mais les habitudes sont anciennes… Il faut changer ces jargons. Oui adopter des termes différents pour études, résultats, conclusions est pertinent.
L’idée de stériles me plait bien
H Maisonneuve