Encore un article avec l’hypothèse que de nombreuses publications seraient fausses. C’est un article dans PLOS One en octobre 2023, à propos de l’analyse de 35,515 articles de psychologie publiés entre 1975 et 2017 contenant 487,996 valeurs de tests statistiques.
C’est un article compliqué, avec un seul auteur, mais qui apporte des informations de qualité. Quand j’ai vu que cet article avait été soumis le 27 janvier 2021… et publié le 17 octobre 2023, soit presque trois ans après la soumission initiale, j’ai lu tous les échanges entre le rédacteur (Florian Naudet, Rennes), les deux relecteurs (Esther Maassen, Tilburg University, en Hollande, et André Gillibert, Rouen) et l’auteur (Andreas Schneck, Munich, Allemagne). C’est passionnant et le travail de tous est remarquable. C’est ainsi qu’un journal scientifique devrait fonctionner : un peer review de qualité et totalement transparent. Il y a eu 5 révisions avant l’acceptation finale. BRAVO. Ces pratiques sont trop rares. Tout ceci donne confiance dans les résultats, même si je ne suis pas compétent pour interpréter toutes les équations.
Biais de publication et p-hacking toujours prévalents
Voici une traduction d’une partie du résumé :
En supposant des effets réels constants, la puissance statistique s’est avérée inférieure aux 80 % suggérés, sauf pour les effets réels sous-jacents importants (d = 0,8), et n’a augmenté que légèrement au fil du temps. En outre, le biais de publication et le p-hacking se sont avérés substantiels. La part de fausses découvertes parmi tous les résultats significatifs a été estimée à 17,7 %, en supposant une proportion θ = 50 % de toutes les hypothèses vraies et en supposant que le p-hacking est le seul mécanisme générant une proportion plus élevée de résultats juste significatifs par rapport aux résultats juste non significatifs. Étant donné que les analyses reposent sur de multiples hypothèses qui ne peuvent être testées, des scénarios alternatifs ont été élaborés, ce qui a permis d’aboutir à un résultat plutôt optimiste : bien que les résultats de la recherche puissent souffrir d’une faible puissance statistique et d’un biais de sélection des publications, la plupart des résultats déclarés comme statistiquement significatifs peuvent contenir des résultats substantiels, plutôt que des artefacts statistiques.
Plus de la moitié des articles sont des contes de fées !
Cet article met en évidence la répartition des valeurs de p dans les articles (figure 3) … c’est suspect et cela confirme qu’environ 70 % des valeurs de p sont inférieures à 0,05 dans les articles (90 % dans les résumés). La cassure de la courbe au niveau de la valeur 0,05 a déjà été observée par exemple avec cette image. Cet exemple est basé sur des données de 2008 dans des journaux américains de psychologie.
Cet article reprend un peu le titre de l’article de 2005 de JPA Ioannidis dans PLOS Medicine Why most published research findings are false? Cet article a été très cité… bientôt 13 000 citations !!! Est-ce justifié ? Il y a des articles qui font l’hypothèse qu’au moins la moitié des articles sont des contes de fées… voir un éditorial rédacteur en chef du Lancet en 2015 ! Et il y a d’autres articles sur ce thème…. Cela ne semble pas émouvoir nos évaluateurs en général !!!!
Il y a bientôt 10 ans, je mentionnais les gaspillages en recherche et rien n’a changé. C’est début 2014 que The lancet a publié une série d’article sur ces gaspillages…
Cet article mériterait d’avoir un ‘Plain lay summary‘ pour communiquer plus largement les résultats. Le site Coopist du Cirad donne de bons conseils pour diffuser ses recherches.
PS : je remercie Y Goulnik qui a proposé un PLS
