J'ai choisi de traduire le résumé d'un article étonnant dans la revue Molecular Brain le 21 février 2020 : "No raw data, no science: another possible source of the reproducibility crisis". Simple, mais le rédacteur en chef a exigé des données brutes de manuscrits 
avant de les oumettre à peer-review. La raison pour les demander est que l'article était trop beau pour être vrai. Eh bien, les auteurs ont refusé dans 20 cas sur 41 demandes, et pour 20 autres articles, les données étaient insuffisantes donc rejet du manuscrit ! Voir le flow chart ci-contre, et le résumé ci-dessous :
Une crise de reproductibilité est une situation où de nombreuses études scientifiques ne peuvent être reproduites. Des pratiques scientifiques inappropriées, telles que le HARKING, le p-hacking et la publication sélective de résultats positifs, ont été suggérées comme causes de non reproductibilité. Dans cet éditorial, je propose que le manque de données brutes ou la fabrication de données soit une autre cause possible de non reproductibilité.
En tant que rédacteur en chef de Molecular Brain, j'ai traité 181 manuscrits depuis le début de 2017 et j'ai pris 41 décisions éditoriales classées dans la catégorie "Révision avant relecture par les pairs", demandant aux auteurs de fournir des données brutes. Étonnamment, parmi ces 41 manuscrits, 21 ont été retirés sans fournir de données brutes, ce qui indique que le fait d'exiger des données brutes a fait fuir plus de la moitié des manuscrits. J'ai rejeté 19 des 20 manuscrits restants en raison de l'insuffisance des données brutes. Ainsi, plus de 97 % des 41 manuscrits n'ont pas présenté les données brutes à l'appui de leurs résultats lorsqu'un rédacteur en a fait la demande, ce qui suggère la possibilité que les données brutes n'existaient pas dès le début, du moins dans certaines parties de ces cas.
Considérant que toute étude scientifique devrait être basée sur des données brutes, et que l'espace de stockage des données ne devrait plus être une difficulté, les revues devraient, en principe, essayer de faire en sorte que leurs auteurs publient les données brutes. Elles peuvent être déposées dans une base de données publique ou sur le site de la revue dès la publication de l'article afin d'augmenter la reproductibilité des résultats publiés et d'accroître la confiance du public dans la science.
Je remercie S Huet qui a tweeté cet article.
4 commentaires
Le problème n est pas nécessairement une manque de volonté des chercheurs mais aussi une ‘frilosité’ des comités d’éthique.
J’ai perdu 6 mois sur un projet après avoir du convaincre un comité à plusieurs reprises.
Autre problème, les reviewers de subvention qui ne tolèrent pas le fait de budgétiser des heures de préparation des données, anonymisation des données, construction d’un codebook….
L’absence d’accès aux données brutes est aussi la raison de la quasi inutilité de la plupart des revues générales abusivement dénommées « méta-analyses ».
Inutilité : bien d’accord… donc gaspillage de ressources !
Cdlmt
La partie du graphe en bas à droite est tout aussi impressionnante.