Belle étude originale dans le JAMA du 10 septembre 2014 par l'équipe de J Ioannidis. Dans PubMed, ils ont cherché, avec des méthodes très bonnes, les essais randomisés ayant donné lieu à uen réanalyse des données avec nouvelle publication. Depuis 1966, ils ont identifié 37 réanalyses de 36 articles, et 5 des 37 ont été refaites par des équipes indépendantes. Allez lire tranquillement le résumé SUPER (35 % des réanalyses ont des résultats différents).
Faut-il en rire ou en pleurer ? C'est très inquiétant car 37 essais randomisés publiés et réanalysés depuis 1966, c'est vraiement très très peu. Un bon éditorial (accès libre) accompage cet article, en insistant sur l'accès aux données sources de tous les essais. Le début de l'éditorial est clair :
Des essais cliniques randomisés bien conduits (ECR) sont le gold standard pour évaluer l'innocuité et l'efficacité des traitements médicaux. Pourtant, le plus souvent, un seul groupe d'individus ayant réalisé l'essai a accès aux données brutes, à la conduite l'analyse, et publie les résultats de l'essai. Cet accès limité ne permet pas à d'autres de reproduire les résultats de l'essai. Compte tenu du temps et des dépenses nécessaires pour mener un ECR, il est souvent peu probable que d'autres répèteront indépendamment un essai similaire. Ainsi, la communauté scientifique et le public acceptent souvent
les résultats obtenus et publiés par l'équipe qui a fait la recherche initiale sans aucune opportunité pour une nouvelle analyse.
Il existe des données pontrant que des réanalyses peuvent être différentes de l'analyse initiale !
Ebrahim S, et al. Reanalyses of randomized clinical trial data. JAMA 2014;312:1024-1032.
Krumholz H, et Peterson ED. Open access to clinical trials data. JAMA 2014;312:1002-1003.
2 commentaires
Bonjour,
J’ai été très intéressé par cet article et j’ai donc été le chercher à la BIUM.
Les réanalyses des 37 articles sont (plusieurs réponses possibles):
une autre méthode statistique : 18
autre critère/mesure : 12
autre analyse des données manquantes : 8
analyse en ITT : 2
autre : 6
Dans 29 cas d’analyse, il n’y a pas d’impact sur les résultats et dans 13 cas, l’analyse conclut qu’il faut traiter plus de patients qu’initialement observé (différents patients 3 ; moins de patients 1).
Donc la plupart des réanalyses ont permis d’augmenter le succès de l’étude.
C’est normal puisque les données individuelles ne sont pas disponibles pour la communauté scientifique.
A ce jour, seule la FDA réanalyse les données individuelles. Toutes ses analyses sont disponibles là : http://www.accessdata.fda.gov/scripts/cder/drugsatfda/
Parfois on peut y trouver de jolis biais comme décrit ici http://pharmacritique.20minutes-blogs.fr/archive/2014/09/10/avonex-dans-la-sclerose-en-plaques-exemple-de-mauvaise-evaluation-des-medic.html#more
Rien de surprenant donc à ce qu’il n’y ait que très peu de remise en cause des essais cliniques
Bonne journée
Le Dr. Thomas Insel, directeur du NIMH, illustre son engagement en faveur du data sharing en s’appuyant notamment sur la récente publication d’Ebrahim : « The recent concern over lack of reproducibility of both basic and clinical research supported by NIH suggests the need for greater transparency. Data sharing not only brings transparency; it provides the detail required to conduct replication studies. With sharing comes a need to standardize results, using common data elements so that results can be compared or integrated across studies. While this approach to big and small science has long been familiar in physics and information science, data sharing calls for a culture change in biomedical science. »
http://www.nimh.nih.gov/about/director/2014/from-my-data-to-mined-data.shtml