100 recherches en psychologie : moins de 50 % ont été reproduites ; collaboration et transparence devraient être obligatoires en recherche

C’est un projet exceptionnel dont nous avons présenté les résultats préliminaires le 18 mai 2015. Les résultats complets ont été publiés par la revue Science le 28 août 2015, en accès libre (La rédactrice en chef de Science est dans le board de Center for Open Science). Arrêtons de gaspiller, commençons par reproduire ce qui a été fait une fois : et là, surprises, surprises car la reproductibilité en psychologie est faible, comme probablement dans la plupart des domaines de la science.

Le projet est impressionnant (4 ans de travail), hébergé par University of Virginia à Charlottesville, près de Washington, USA. Au sein de Center for Open Science, financé par des fondations et autres sociétés, il y a Open Science Framework, avec des très nombreux projets en cours… la visite du site mérite un détour car l’archivage des données est bien fait. Pour le projet en psychologie, vous pouvez accédez à toutes les données de réplication, etc….

250 chercheurs en psychologie ont refait 100 études publiées dans 3 revues prestigieuses de psychologie (par tirage au sort des articles), avec le concours des auteurs de la publication initiale. Les résultats sont nombreux, et l’article est très difficile à comprendre (pour moi !). Les résumé dit « 97% of original studies had statistically significant results. 36% of replications had statistically significant results; 47% of original effect sizes were in the 95% confidence interval of the replication effect size; 39% of effects were subjectively rated to have replicated the original result; and if no bias in original results is assumed, combining original and replication results left 68% with statistically significant effects.  » Ne soyons pas étonné : c’est en partie la variabilité de la science, et en partie la compétition pour publier vite ce qui marche, quitte à embellir un peu……  Regrettons l’absence d’équipes françaises dans ces projets nord-américains et européens.

Le message de fond pour les chercheurs : ne pas croire trop vite ce qui a été publié une seule fois, transparence (des méthodes, des données, etc..) et collaboration.…  difficile à mettre en oeuvre quand la compétition prime et que l’accès aux données sources est un domaine réservé.

Cette publication de Science est très commentée sur blogs et autres réseaux sociaux. Citons RetractionWatch avec une bonne interview, le podcast de Science avec interview de Brian Nosek, responsable du projet (de 10 min 30 s, jusqu’à 21 min). Félicitons David Larousserie (le Monde) pour son article sur ce sujet avec un bon titre « La recherche en mal de contrôle qualité« .

Open Science Collaboration. Estimating the reproducibility of psychological science. Science 2015 (28 August);349:6251.