Les recherches non reproductibles seraient plus citées que les recherches reproductibles

Ce résumé est troublant et je le traduit : ‘Nous utilisons des données publiques pour montrer que les articles publiés dans les principales revues de psychologie, d’économie et d’intérêt général qui ne sont pas reproduits sont davantage cités que ceux qui le sont. Cette différence de citation ne change pas après la publication de l’échec de la réplication. Seuls 12 % des citations postérieures à la réplication de résultats non reproductibles reconnaissent l’échec de la réplication. Les preuves existantes montrent également que les experts prédisent bien quels articles seront répliqués. Compte tenu de cette prédiction, pourquoi les articles non reproductibles sont-ils acceptés pour publication en premier lieu ? Une réponse possible est que l’équipe d’évaluation doit faire un compromis. Lorsque les résultats sont plus « intéressants », ils appliquent des normes moins strictes concernant leur reproductibilité.’

Ce sont des données publiques de 3 grands projets de réplication qui ont été utilisées pour ce travail, dont la très grande étude de reproduction de 100 articles en psychologie, publiée en 2015 par Science, et faite par OSF.

J’ai reproduit la figure 3 dont la légende est : Nombre annuel de citations par réplicabilité. Le nombre moyen de citations annuelles par année pour les études qui n’ont pas été répliquées (selon la valeur P de la réplication) dans chaque étude de réplication [(A) pour Nature/Science, (B) pour Economie, et (C) pour Psychologie dans les marchés de réplication] et pour celles qui ont été répliquées. La zone en gris clair indique l’année ou les années de publication des études originales, et la ligne sombre indique l’année de publication de l’étude de réplication.’ Dans cet article, beaucoup d’autres figures intéressantes.

Il s’agit d’un article de recherche publié dans la revue Science le 21 mai 2021 ! Pas n’importe quoi et inquiétant. Il faudra élucider ces informations qui ne sont peut-être pas surprenantes !!!! Soumis le 4 juin 2020 et accepté le 1 avril 2021 fait supposer que le peer review a été intense ! Toutes les données pour la reproductibilité de cette recherche semblent accessibles. BRAVO.

Quelles sont les hypothèses proposées par les auteurs ? ‘En supposant que les articles plus cités présentent des résultats plus « intéressants », une corrélation négative entre la reproductibilité et le nombre de citations pourrait refléter un processus de révision qui est plus laxiste lorsque les résultats sont plus intéressants (par intéressants, nous entendons des articles qui attirent plus d’attention
et des travaux de suivi). Des preuves à l’appui de cette explication sont étayées par une étude qui montre que les experts dans le domaine prédisaient avec succès les résultats qui se répliqueraient avant que les études de réplication ne soient menées.’ Des hypothèses concernent la qualité de l’évaluation par les pairs…  des études qui semblent prometteuses seraient mieux considérées… et publiées malgré un scepticisme que leur qualité… Article intéressant = diminution de la qualité du peer-review ? Ce sont des articles qui peuvent attirer les médias, les discussions et la notoriété de la revue.. Donc prendre un risque en publiant ces articles est calculé !

Ce qui pose question : beaucoup d’institutions utilisent les citations pour évaluer la recherche !