A cette question, je réponds en général 20 à 30 %, car il existe des données. J’ai plusieurs fois apporté des arguments pour y répondre. Une nouvelle recherche a été faite par 6 chercheurs dont 3 avec des adresses en Chine, et 3 au Royaume-Uni, et publiée dans le JAMA Open le 19 juillet 2019. Ces auteurs ont analysés 389 essais randomisés publiés entre le 1 janvier 2011 et le 31 décembre 2015. Les essais ont été tirés au sort à partir de bases de données.
Le résultat principal ne surprend personne, mais il est très gênant :
- Of 389 trials with clear primary outcomes prospectively described in the registry (416 outcomes reported), 33.4% (130 of 389) of trials had at least 1 primary outcome change.
- Compared with those without primary outcome change, trials with primary outcome change showed a 16% (pooled ROR, 0.84; 95% CI, 0.73-0.96) larger reported intervention effect size.
La discussion de cet article est bien faite, avec des références aux articles ayant fait des recherches similaires (dont l’un ayant répondu 60 % à cette question). C’est à lire. L’article dit que deux seules revues (JAMA et BMJ) comparent protocole et publication lorsqu’ils évaluent un manuscrit ! Donc évitez de soumettre à ces revues si vous n’avez pas respecté le protocole, et allez au NEJM qui a moins d’exigences.
Dorénavant, je répondrai : « Le critère principal de jugement d’un essai clinique randomisé diffère dans au moins 30 % des cas entre le protocole enregistré et la publication« . Nous discuterons ensuite les causes de ce changement qui permet d’augmenter l’effet observé… Tout en rappelant que toutes les recommandations de pratique clinique reconnaissent que les essais randomisés sont le meilleur niveau de preuve d’une intervention. ETONNANT, NON !
2 commentaires
tout à fait d’accord pour dire que c’est désolant si c’est fait dans le but d’augmenter artificiellement la différence entre le traitement et le groupe contrôle puisque la plus grosse erreur que puisse faire un essai d’efficacité est de déclarer actif un traitement inutile.
Après, il peut quand même y avoir une maturation dans l’esprit de l’auteur qui se rend compte que je critère qu’il a choisi ne reflète pas de façon optimale ce qu’il cherche à explorer. Un exemple fréquent est quand les deux groupes ne sont pas rigoureusement équivalents au départ malgré une randomisation rigoureuse. si le groupe traitement actif est dans un état clinique plus grave au début que le groupe contrôle (sans que la différence soit significative) et dans un meilleur état clinique à la fin du suivi (sans que la différence soit significative) on donnera peut être une présentation plus fidèle de l’effet traitement en comparant non pas les moyennes (J0 tt actif versus J0 témoin et J2 tt actif versus J2 témoin) mais en comparant la moyenne des différences (J0 -J2 traitement actif versus J0-J2 témoin). Par contre on est d’accord que ce doit être présenté comme une analyse exploratoire et pas comme le critère principal initial.
Merci pour ce commentaire utile, et bien d’accord
HM