C’est une des newsletter de TheMetaNews (5 juillet 2024) qui rapporte une expérience géniale lors d’une réunion d’économistes à Grenoble fin juin 2024. Ce que les économistes font est un exemple pour d’autres disciplines scientifiques.
Replication games : répliquer des résultats publiés dans des revues prestigieuses
Image ci-contre du titre du billet de The MetaNews. Cette manifestation était sous l’égide de I4R, l’Institute for Replication que j’ai présenté en janvier 2022. L’organisation à Grenoble était assurée par deux ingénieurs, Margaux Sinceux et Paolo Crosetto qui travaille sur les revues prédatrices. P Crosetto a montré la réalité des numéros spéciaux de revues qui mettent en danger la science.
Un bon compte rendu de The Meta News
Je reprends quelques extraits pour vous inciter à aller lire le compte rendu :
Aujourd’hui, « la mise à disposition des “replication package” [comprenant les données et le code d’analyse, NDLR] permet de vérifier facilement les résultats », explique Alexandros Karakostas, professeur associé à l’École supérieure des sciences commerciales d’Angers (ESSCA), qui participe à l’événement.
Au programme des semaines à venir : collecte des données, analyse et comparaison avec les résultats de la publication originale et enfin écriture d’un rapport. Signé par l’ensemble des participants, un “metapapier” rassemblant les tests de réplicabilité de chaque groupe sera publié d’ici quelques mois, similaire à celui-ci sorti en mars 2024 après une précédente session.
Inciter d’autres sciences pour répliquer les résultats
D’autres sessions sont programmées partout dans le monde, en science politique, informatique ou en psychologie. À vous d’organiser les prochains jeux en France ?
PS : je suis abonné à The MetaNews
Un commentaire
Voilà en effet une initiative capitale qui souligne la nécessité absolue d’une réplication expérimentale pour parler de résultat scientifique fiable.
Un certain nombre de travaux scientifiques peuvent être répliqués aisément, particulièrement quand il s’agit seulement d’en vérifier les calculs, ou quand ils ne nécessitent qu’une instrumentation accessible.
Dans certains domaines toutefois, il est très laborieux et surtout très dispendieux de reproduire une expérience, voire impossible de l’obtenir dans un centre autre que celui qui a été spécialement équipé pour cette recherche. L’obstacle est alors l’absence de reconnaissance de tels travaux, qui sont considérés par les employeurs et les financeurs comme de simples redites, lesquelles ne sauraient éventuellement profiter qu’à ceux dont on aura confirmé les découvertes.
Evidemment, le plus insurmontable est de répliquer une étude médicale ayant porté sur un échantillon d’individus. On peut, tout au plus, tenter de généraliser les résultats observés par des équipes différentes sur des échantillons grossièrement similaires et dans des conditions plus ou moins comparables. La crédibilité des résultats découle alors de ce qu’on appelle une méta-analyse, mais de telles analyses ne valent que ce que valent les études qu’on y inclut, de sorte qu’il persiste toujours un doute sur les critères de collecte des études et la fiabilité des observations de chacune.
Le problème de la réplicabilité en médecine est crucial, et ne sera sûrement jamais entièrement résolu. On ne peut cependant pas se contenter d’un tel constat. Il faut réformer le système de reconnaissance des travaux de recherche biomédicale afin que ne soient plus considérés comme ayant une valeur de véracité les résultats ponctuels, non validés par des confirmations empiriques ultérieures.
A l’inverse, tout ce qui contribue à infirmer des présomptions expérimentales, ou bien à confirmer leur crédibilité, devrait être très fortement gratifié.