C’est une scoping review publiée par eLife en juin 2023, et faite sous l’égide des équipes canadiennes de David Moher. Le champ de cette recherche est limité à deux années (2018 et 2019). Comparés aux plus de 3 millions d’articles publiés pendant ces deux années, l’attention portée à la reproductibilité est faible. La course à la fausse innovation, aux contes de fées ne favorise pas la reproduction des études existantes. Pourtant la valeur des reproductions des recherches est immense.
Sur 3 millions d’articles, 177 sur la reproductibilité !
Scoping review se traduit par revue de la portée en canadien, et c’est mieux que de dire scoping review en français. Il y a beaucoup de données intéressantes dans l’article. Voici une traduction du résumé pour vous faire une idée de ce très bon travail (bonnes méthodes et équipe de recherche rigoureuse) :
Méthodes :
Nous avons effectué une revue de la portée pour identifier les études de réplication en langue anglaise publiées entre 2018 et 2019 dans les domaines de l’économie, de l’éducation, de la psychologie, des sciences de la santé et de la biomédecine. Nous avons effectué des recherches dans Medline, Embase, PsycINFO, Cumulative Index of Nursing and Allied Health Literature – CINAHL, Education Source via EBSCOHost, ERIC, EconPapers, International Bibliography of the Social Sciences (IBSS) et EconLit. Les documents extraits ont été examinés en double par rapport à nos critères d’inclusion. Nous avons extrait l’année de publication, le nombre d’auteurs, le pays d’affiliation de l’auteur correspondant et si l’étude était financée. Pour les études de reproduction individuelles, nous avons noté si un protocole enregistré pour l’étude de reproduction a été utilisé, s’il y a eu un contact entre l’équipe de reproduction et les auteurs originaux, quelle conception d’étude a été utilisée et quel était le résultat primaire. Enfin, nous avons noté comment la reproductibilité était définie par les auteurs et si l’étude ou les études évaluées avaient été reproduites avec succès sur la base de cette définition. L’extraction a été effectuée par un seul réviseur et la qualité a été contrôlée par un deuxième réviseur.
Résultats :
Notre recherche a permis d’identifier 11 224 documents uniques, dont 47 ont été inclus dans cette étude. La plupart des études portaient sur la psychologie (48,6 %) ou les sciences de la santé (23,7 %). Parmi ces 47 documents, 36 décrivaient une seule étude de reproductibilité, tandis que les 11 autres faisaient état d’au moins deux études de reproductibilité dans le même article. Moins de la moitié des études faisaient référence à un protocole enregistré. Les définitions du succès de la reproductibilité varient. Au total, 177 études ont été rapportées dans les 47 documents. Selon la définition utilisée par l’auteur de chaque étude, 95 études sur 177 (53,7 %) ont reproduit.
Conclusions :
Cette étude donne un aperçu des recherches menées dans cinq disciplines qui visent explicitement à reproduire des recherches antérieures. Ces études de reproductibilité sont extrêmement rares, la définition d’une étude reproduite avec succès est ambiguë et le taux de reproductibilité est globalement modeste.
En bref…. très décevant mais attendu ! On parle beaucoup de la reproductibilité, mais quelles équipes reproduisent des expérimentations ?
