Les notions de reproductibilité des recherches sont difficiles à définir simplement, et il existe une énorme littérature sur ces concepts. La non-reproductibilité s’explique en partie par des méconduites, et donc le non respect des principes d’intégrité scientifique. En un peu plus de 2 pages, deux chercheurs allemands ont essayé d’expliquer cela simplement, et ils y arrivent. Ce ‘Commentary’ de BMC Research 
Notes (décembre 2021) est simple avec une figure que je reproduis ci-contre, sans la commenter (allez voir l’article facile à lire). L’article concerne les sciences de la vie, avec le titre ‘Reproducibility and research integrity: the role of scientists and institutions’. L’article reprend quelques exemples choquants et connus de non reproductibilité.
Je confonds souvent les termes, et il existe des jargons dans ce domaine. Les auteurs séparent simplement :
- reproductibilité : prendre des données d’expériences, refaire les mêmes analyses statistiques et obtenir les mêmes résultats ; cela permet de détecter des erreurs ; nous avons analysé une excellente étude de 29 équipes (61 analystes) ayant analysé la même base de données, avec la même question de recherche : 20 équipes ont observé un effet et 9 n’ont pas observé d’effet ! Il s’agissait d’une énorme base de données concernant le football !
- réplication : utiliser les mêmes méthodes pour collecter de nouvelles données, les analyser et espérer obtenir les mêmes résultats ; nous avons décrit de nombreux exemples où la réplication ne marchait pas… en moyenne, 1/3 des études publiés seraient réplicables presque à l’identique, 1/3 partiellement réplicables, et 1/3 non réplicables… estimation de ma part basée sur des études comme celle publiée en 2015 dans Science, mais il en existe d’autres.
J’ai quelques billets sur ces questions de reproductibilité. Nous devrions récompenser ceux qui reproduisent des données comme cela a été proposé en 2018 en Hollande.
