Une équipe française (Rennes) a publié début 2025 dans Clinical Pharmacology & Therapeutics un article intitulé ‘Trends of Publication of Negative Trials Over Time‘. Accès libre, bonne méthodologie simple et bien décrite avec des résultats attendus ou non ?
La publication des essais négatifs n’est pas suffisante
Il s’agit d’une recherche à partir des essais randomisés publiés par des revues cliniques prestigieuses (BMJ, Lancet, NEJM, JAMA). J’avais l’impression que depuis la création des registres de protocoles en 2000, l’obligation d’enregistrer un protocole de l’ICMJE en 2005, la situation s’était améliorée. J’ai l’habitude de dire qu’il me semble que publier un essai négatif (comparaison finale sur le critère d’évaluation principal sans signification statistique ou favorisant le bras de contrôle) est plus courant qu’il y a 20 ans… et je me trompe. Je dois réviser mes opinions. Le tableau 1 de l’article est complet, apporte beaucoup d’informations. Il y a eu 1 542 essais inclus dans ce travail, à savoir 275 en 2000, 260 en 2005, 306 en 2010, 361 en 2015 et 340 en 2025. Donc bien équilibré. Et voici le résultat principal :
Il y a une différence significative entre 2000 et 2020, mais elle n’a pas de pertinence. L’introduction de l’article donne quelques exemples d’essais négatifs non publiés… avec les risques pour les patients !
Quelques observations : La proportion d’études négatives était significativement plus faible dans le N Engl J Med que dans le JAMA ou le BMJ (P < 0,001). Pas étonnant ! La proportion d’études négatives publiées ne différait pas de manière significative selon le statut d’enregistrement (P = 0,699). Surprenant ?
En deux décennies (2000 – 2020), la proportion d’études négatives publiées a peu augmenté
Je me suis permis de traduire (avec DeepL) le résumé qui est assez complet : Les études dont les résultats sont négatifs ont moins de chances d’être publiées que les autres, ce qui peut entraîner un biais de publication. Introduit en 2000, l’enregistrement des essais aurait pu contribuer à réduire la proportion d’études non publiées. Nous avons évalué la proportion d’essais contrôlés randomisés (ECR) négatifs au cours des 20 dernières années. Nous avons recherché dans Medline les ECR publiés en 2000, 2005, 2010, 2015 et 2020 dans le British Medical Journal, le Journal of the American Medical Association, le Lancet et le New England Journal of Medicine. Le critère d’évaluation principal était la proportion d’études négatives (comparaison finale sur le critère d’évaluation principal sans signification statistique ou favorisant le bras de contrôle) publiées en 2000 et 2020. Les facteurs indépendamment associés à la publication d’études négatives ont été identifiés à l’aide d’une analyse multivariée. Au total, 1 542 études ont été incluses. La proportion d’ECR négatifs a augmenté de manière significative entre 2000 et 2020 (de 27,6 % à 37,4 % ; P = 0,01), mais la tendance au fil du temps n’était pas significative (P = 0,203). Dans l’analyse multivariée, les facteurs suivants étaient associés à une proportion plus élevée d’études négatives publiées : supériorité (P < 0,001), essais sur deux groupes (P < 0,001), nombre de patients ≥ 510 (P < 0,001), essais en cardiologie (P = 0,003), essais sur les soins d’urgence/critiques (P < 0,001), essais en obstétrique (P = 0,032), essais en chirurgie (P = 0,006), essais en pneumologie (P = 0,029). Le financement exclusif par l’industrie était associé à une plus faible proportion d’études négatives publiées (P < 0,001). La proportion d’études négatives publiées en 2020 n’était plus élevée que par rapport à 2000. Au cours des deux décennies, aucune tendance n’a été observée. Il n’y a pas de relation claire entre l’enregistrement des essais et la publication de résultats négatifs au fil du temps.
PS : je remercie Pierre Rimbaud
4 commentaires
Je radote assurément, mais je persiste à penser que c’est une sérieuse erreur d’amalgamer les essais contrôlés « sans signification statistique ou favorisant le bras de contrôle » (et aussi ceux dont les résultats sont significativement non différents). Les premiers sont stériles, les autres sont au contraire instructifs, bien qu’à l’encontre de ce qu’on en attendait.
Les essais stériles, dont la puissance est insuffisante, ou le protocole inadéquat, ou l’exécution défaillante, ne permettent aucune conclusion et ne sont pas dignes d’être publiés – sauf pour mettre en évidence les fautes méthodologiques à ne pas commettre et/ou des causes inattendues d’échec à prévoir, voire pour accuser ceux qui les ont conduits d’incompétence ou de malfaisance.
Les essais significatifs et méthodologiquement valides sont à l’inverse tous importants, surtout quand ils contredisent justement ce qu’on espérait, c’est à dire essentiellement quand ils infirment une efficacité (ou une sécurité) attendue, et notamment quand il réfutent des résultats antérieurement publiés !
Le seul véritable problème est bien sûr que les promoteurs d’un essai (quelle que soit leur motivation) veulent prouver une conjecture qui assurera leur notoriété ou leur chiffre d’affaire, et veulent qu’on ne sache pas qu’ils ont échoué à le faire – même quand ils ont réussi à enrichir les connaissances, ce qui n’était nullement leur objectif…
Bonjour,
un paramètre manque dans l’analyse des auteurs : les études dont le critère de jugement principal a changé en cours d’étude, qui peuvent être fréquentes et modifier les résultats finaux (Holst et al PLoS Med, Chen et al JAMA Network Open 2019). Chen conclu d’ailleurs que « Results of this study suggest that inconsistencies between registered and published primary outcomes of clinical trials are common, and trials with primary outcome change are likely to have a larger intervention effect than those without » (Chen et al, JAMA Network Open 2019). On peut citer l’étude de Collins et al. sur le choix du cristalloïde administré en péri-opératoire au cours des transplantations rénales publié dans le Lancet en 2023 (doi : 10.1016/S0140-6736(23)00642-6). Le critère de jugement principal CJP initialement choisi est non significatif (OR 0,84 – 0,65 à 1,07) malgré l’augmentation du nombre de patients inclus nécessité par le changement de CJP (de 574 à 800), contrairement au CJP analysé dans la publication (RR 0,74 – 0,66 à 0,84; p<0,0001). Les conclusions de l'étude auraient été différentes si le critère de jugement n'avait pas été changé en cours d'étude. Le changement de CJP a permis d'avoir des résultats qui allaient dans le sens "attendu"…
En effet, beaucoup d’impropriétés méthodologiques (visibles ou cachées) compromettent la valeur de la très grande majorité des résultats publiés et la non-publication, bien qu’elle soit un problème grave, ne résume pas la difficulté de synthétiser utilement les données. Il y a d’innombrables raisons théoriques et pratiques de mettre en doute l’interprétation d’observations cliniques, et ce sont parfois des raisons techniques très subtiles (voir notamment les discussions à propos de méthodes statistiques ou de pertinence clinique des quantités d’effet, etc. qui suivent les publications et parfois leurs pré-soumissions publiques). La systématique publication préalable des protocoles ne résout malheureusement pas ce problème qui généralement se révèle en fin d’étude !
L’erreur la plus grave est en fait d’imaginer que l’on fait une science indiscutable quand elle n’est pas ouvertement fautive ou frauduleuse.
Je remercie, Florian Naudet, dernier auteur, qui m’a transmis son commentaire :
Bonjour,
merci de l’intérêt pour notre étude et merci pour les commentaires pertinents.
1/ regrouper les études négatives et les études favorables au groupe contrôle : c’est une bonne remarque. C’est vrai que la plupart des études ont une formulation bilatérale des tests avec un risque alpha à 0.05. Donc vous avez raison de demander la nuance. Mais dans les fait, c’est quant même le plus souvent des études avec des questions unilatérales (supériorité) soit, de manière un peu implicite un alpha unilatéral à 0.025. On est donc parti sur ce deuxième choix. Par contre, en pratique, il n’y a pas beaucoup d’études publiées qui explorent une supériorité stricte et qui soit publiées comme favorables au groupe contrôle. Mais vous avez raison sur le fait qu’elles sont informatives et positives du point de vue des End Users.
2/ sur un éventuel changement de critère : vous avez encore raison, merci de la remarque. Et cela pourrait être une vrai explication d’une éventuelle différence (que l’on ne retrouve par contre pas de manière robuste). Je pense par contre que c’est quasi impossible avec nos données. La grande difficulté que je vois ici est le fait que l’on ne pourrait pas le mesurer de manière identique au fur et à mesure du temps. Par exemple en 2000, sans l’enregistrement obligatoire, on aurait eu du mal à le tracer et on y arriverait beaucoup mieux après. Cela aurait pour conséquence un biais de classement, différentiel (entre les années) et donc un vrai risque d’impact sur les résultats dans un sens ou dans l’autre. En tout état de cause, cela fait une limite de plus à notre étude.
Merci encore de votre intérêt et en vous souhaitant un bel été,