Il s’agit du plus grand projet de reproduction de données publiées dans des revues prestigieuses. Il y avait eu en août 2015 la publication de Science des reproductions en psychologie : environ 50 % de 100 expériences publiées dans des revues prestigieuses avaient pu être refaites.
Il s’agit d’un projet de 13 ans dans la biologie du cancer. En 2018, nous avons évoqué les difficultés de la reproductibilité dans le domaine de la biologie du cancer. Ce projet a débuté en 2013, avec des financements de la fondation Arnold. Ce Reproducibility Project: Cancer Biology est détaillé sur un site dédié. Il y a de nombreuses publications. Le 7 décembre 2021 un éditorial reprend les principales publications dans le domaine de la réplicabilité des études précliniques avec ce message : ‘It is clear that preclinical research in cancer biology is not as reproducible as it should be.’ Un autre commentaire apporte d’autres réflexions.
Voici le résumé traduit de l’article publié dans eLife en décembre 2021 : Nous avons mené le projet de reproductibilité : Cancer Biology pour étudier la reproductibilité de la recherche préclinique en biologie du cancer. L’objectif initial du projet était de reproduire 193 expériences tirées de 53 articles à fort impact, en utilisant une approche dans laquelle les protocoles expérimentaux et les plans d’analyse des données devaient être examinés par des pairs et acceptés pour publication avant que le travail expérimental ne puisse commencer. Cependant, les divers obstacles et défis que nous avons rencontrés lors de la conception et de la réalisation des expériences ont fait que nous n’avons pu répéter que 50 expériences provenant de 23 articles. Nous présentons ici ces obstacles et ces défis. Tout d’abord, de nombreux articles originaux n’ont pas fourni de statistiques descriptives et inférentielles clés : les données nécessaires pour calculer les tailles d’effet et effectuer des analyses de puissance n’étaient publiquement accessibles que pour 4 des 193 expériences. De plus, bien que nous ayons contacté les auteurs des articles originaux, nous n’avons pas pu obtenir ces données pour 68 % des expériences. Deuxièmement, aucune des 193 expériences n’était décrite de manière suffisamment détaillée dans l’article original pour nous permettre de concevoir des protocoles pour répéter les expériences, nous avons donc dû demander des clarifications aux auteurs originaux. Si les auteurs ont été extrêmement ou très utiles pour 41 % des expériences, ils ont été peu utiles pour 9 % des expériences et pas du tout utiles (ou n’ont pas répondu à nos questions) pour 32 % des expériences. Troisièmement, une fois le travail expérimental commencé, 67 % des protocoles évalués par les pairs ont dû être modifiés pour mener à bien la recherche et seulement 41 % de ces modifications ont pu être mises en œuvre. Cumulativement, ces trois facteurs ont limité le nombre d’expériences pouvant être répétées. Cette expérience attire l’attention sur une préoccupation fondamentale et essentielle concernant la réplication : il est difficile d’évaluer si les résultats rapportés sont crédibles.