C’est un énorme projet sous l’égide du COS (Center for Open Science) à Charlottesville, dirigé par Brian Nosek. Fin avril 2015, Nature nous a informé sur les projets du COS, y compris l’objectif de reproduire 50 articles dans le domaine de la biologie du cancer. Fin août 2015, dans Science, ils ont montré qu’il était difficile de reproduire 40 % des expériences publiées dans le domaine de la psychologie.
Les données du cancer étaient attendues, et on sait qu’ils ne pourront pas refaire 50 expériences pour des raisons financières, mais 30 devraient venir. Les 5 premières publications sont dans eLife (19 janvier 2017), et sont très difficiles à lire (sauf pour les spécialistes). Le titre des articles commence par Replication Study ! Il y a peu d’auteurs, et certains sont auteurs sur plusieurs articles ; le dernier auteur est toujours ‘Repoducibility Project: Cancer Biology‘. Dans certains cas, les nouvelles expériences ont donné des résultats différents ou moins significatifs du point de vue statistique que les originales. Dans d’autres, les résultats de la réplication ont été confondus par, entre autres, des différences dans la façon dont des cellules particulières ou des souris modèles se sont comportées entre les études originales et nouvelles. Voici les 5 articles :
- Replication Study: BET bromodomain inhibition as a therapeutic strategy to target c-Myc
- Replication Study: Discovery and preclinical validation of drug indications using compendia of public gene expression data
- Replication Study: Coadministration of a tumor-penetrating peptide enhances the efficacy of cancer drugs
- Replication Study: Melanoma genome sequencing reveals frequent PREX2 mutations
- Replication Study: The CD47-signal regulatory protein alpha (SIRPa) interaction is a therapeutic target for human solid tumors
C’est une étape majeure pour la crédibilité de la science. Un éditorial explique que 2 réplications ont marché, qu’une n’a pas marché, et que pour les 2 autres, c’est difficile. Un éditorial de B Nosek et T Errington, mérite lecture attentive pour bien comprendre ce que sont les réplications. Je reprends la conclusion :
Replication is a core value of science, and the credibility of scientific claims is based on their reproducibility rather than the authority of their originators. As part of the Reproducibility Project: Cancer Biology the results of all the Replication Studies will be combined to gain insight into the factors that lead to irreproducible results and the opportunities for improving reproducibility. The results of the first set of Replication Studies suggest that there is a substantial opportunity to improve reproducibility in cancer biology: the challenge facing all of us is to identify how best to achieve this goal.
Les archives sont accessibles, et vous trouvez l’article d’origine, le registered report, et la publication de la réplication sur un même site !! De nombreux médias ont repris ces données, dont RetractionWatch, The Scientist, qui a interveiwé T Errington : IL FAUT UNE CULTURE DE LA REPLICATION. Il faudra bien un jour récompenser ceux qui répliquent des données.
Nous avons souvent des billets sur la reproductibilité des données….
