Ce preprint du 5 février 2020 sera vite publié car il apporte des données convaincantes. Il a été déposé sur PsyArXiv, une des plateformes de OSF. Le protocole a été enregistré correctement sur le registre du COS (Charlottesville, USA). Publication le 16 avril 2021 dans ‘Advances in Methods and Practices in Psychological Science‘.
Le titre « An excess of positive results: Comparing the standard Psychology literature with Registered Reports« . Les méthodes sont très bien décrites et le travail était complexe. Le système Registered Reports (RR) consiste à faire le peer review sur un protocole (introduction et méthodes).
La question était claire : “The goal of our study was to test if Registered Reports in Psychology show a lower positive result rate than articles published in the traditional way (henceforth referred to as ‘standard reports’, SRs), and to estimate the size of this potential difference.” Le travail a inclu des 
articles originaux et des études de replication.
Le résultat principal est convaincant. Il doit remettre en question très fortement les pratiques de peer-review. C’est l’image reprise ci-contre : “146 out of 152 standard reports and 31 out of 71 Registered Reports had positive results, meaning that the positive result rate was 96:05% for standard reports (95% CI [91.61, 98.54]) and 43:66% for Registered Reports (95% CI [31.91, 55.95].”
Lisez ce long article très bien fait…. Avec beaucoup de données…
En septembre 2022 (actualisé), ce sont plus de 3000 revues qui ont adopté le modèle RR, en parallèle avec le peer-review classique. C’est très peu.. Bien sûr, toutes les recherches ne sont pas destinées à rentrer dans ce moule RR ? mais beaucoup pourraient.
C’est le meilleur modèle de peer-review, et qui donne confiance dans les résultats.
2 commentaires
Une initiative à généraliser !
https://www.timeshighereducation.com/news/scientists-offered-eu1000-publish-null-results
Je mentionnerais ici Frédéric de Coninck, qui a publié vers 1990-95 un article de méthodo pour les sciences humaines (qui ne doit pas être en ligne ; j’ai un peu cherché) proposant un protocole de recherche « pseudo-expérimental » (visant à maximiser la réfutabilité).
L’idée générale était proche de celle-ci : établir et figer (voire publier) les hypothèses de recherche et les tests destinés à vérifier cette hypothèse, avant de collecter la 1ère donnée.
Hors sujet médical, j’ai lancé un béret de ce genre l’an dernier mais pas encore été le ramasser 😉 https://twitter.com/IseeDataSTRAT/status/1177495879399247872