Le 25 mai 2016, Nature a publié les résultats d’une enquête sur la reproductibilité en science, avec plus de 1500 réponses. Lecture en accès libre, et c’est impressionnant, car 90 % des répondants évoquent une crise de reproductibilité (52% sévère, 38 % légère) ! Mais difficile d’interpréter car il n’existe pas de consensus, ou de définition explicite, de ce qu’est la reproductibilité. Le titre : « 1500 scientists lift the lid on reproducibility« . La vidéo de 2 minutes est utile, avec des animations.
Vous lirez les détails de l’enquête avec des informations intéressantes : 20 % des chercheurs ont été contactés par des collègues voulant reproduire des expériences, c’est difficile de publier des reproductions de données, encore plus difficile si la reproduction est dite ‘négative’, les données de cette enquête sont assez similaires à une autre enquête de American Society for Cell Biology. Les figures sont nombreuses, avec la répartition entre les disciplines (la médecine n’est pas une discipline plus vertueuse). La figure sur les causes de non reproductibilité est intéressante, cas ces causes sont nombreuses, la fraude étant en 9ème position, le ‘bad luck’ en dernière position ; voici le top 5 : selective reporting, pressure to publish, low statistical power or poor analysis, not replicated enough inoriginal lab, insufficient oversight/mentoring. Comme le font les bonnes revues, vous pouvez télécharger les données sources et analyses de l’enquête. Tout cela ne veut pas dire que les publications sont fausses !! Mais il faudra mieux travailler à l’avenir.
Un éditorial « Reality check on reproducibility » attire l’attention de tous pour essayer de résoudre cette situation : chercheurs, financeurs, institutions, rédacteurs devraient travailler ensemble. La bonne nouvelle, c’est que l’on parle de ce thème. Nous avons analysé en janvier 2016 un excellent rapport de 80 pages sur ce sujet
