non replicable

Les recherches non reproductibles seraient plus citées que les recherches reproductibles

Ce résumé est troublant et je le traduit : ‘Nous utilisons des données publiques pour montrer que les articles publiés dans les principales revues de psychologie, d’économie et d’intérêt général qui ne sont pas reproduits sont davantage cités que ceux qui le sont. Cette différence de citation ne change pas replication citationsaprès la publication de l’échec de la réplication. Seuls 12 % des citations postérieures à la réplication de résultats non reproductibles reconnaissent l’échec de la réplication. Les preuves existantes montrent également que les experts prédisent bien quels articles seront répliqués. Compte tenu de cette prédiction, pourquoi les articles non reproductibles sont-ils acceptés pour publication en premier lieu ? Une réponse possible est que l’équipe d’évaluation doit faire un compromis. Lorsque les résultats sont plus « intéressants », ils appliquent des normes moins strictes concernant leur reproductibilité.’

Ce sont des données publiques de 3 grands projets de réplication qui ont été utilisées pour ce travail, dont la très grande étude de reproduction de 100 articles en psychologie, publiée en 2015 par Science, et faite par OSF.

J’ai reproduit la figure 3 dont la légende est : Nombre annuel de citations par réplicabilité. Le nombre moyen de citations annuelles par année pour les études qui n’ont pas été répliquées (selon la valeur P de la réplication) dans chaque étude de réplication [(A) pour Nature/Science, (B) pour Economie, et (C) pour Psychologie dans les marchés de réplication] et pour celles qui ont été répliquées. La zone en gris clair indique l’année ou les années de publication des études originales, et la ligne sombre indique l’année de publication de l’étude de réplication.’ Dans cet article, beaucoup d’autres figures intéressantes.

Il s’agit d’un article de recherche publié dans la revue Science le 21 mai 2021 ! Pas n’importe quoi et inquiétant. Il faudra élucider ces informations qui ne sont peut-être pas surprenantes !!!! Soumis le 4 juin 2020 et accepté le 1 avril 2021 fait supposer que le peer review a été intense ! Toutes les données pour la reproductibilité de cette recherche semblent accessibles. BRAVO.

Quelles sont les hypothèses proposées par les auteurs ? ‘En supposant que les articles plus cités présentent des résultats plus « intéressants », une corrélation négative entre la reproductibilité et le nombre de citations pourrait refléter un processus de révision qui est plus laxiste lorsque les résultats sont plus intéressants (par intéressants, nous entendons des articles qui attirent plus d’attention
et des travaux de suivi). Des preuves à l’appui de cette explication sont étayées par une étude qui montre que les experts dans le domaine prédisaient avec succès les résultats qui se répliqueraient avant que les études de réplication ne soient menées.’ Des hypothèses concernent la qualité de l’évaluation par les pairs…  des études qui semblent prometteuses seraient mieux considérées… et publiées malgré un scepticisme que leur qualité… Article intéressant = diminution de la qualité du peer-review ? Ce sont des articles qui peuvent attirer les médias, les discussions et la notoriété de la revue.. Donc prendre un risque en publiant ces articles est calculé !

Ce qui pose question : beaucoup d’institutions utilisent les citations pour évaluer la recherche !

Partagez cet article sur les réseaux:
Partager sur facebook
Facebook
Partager sur twitter
Twitter
Partager sur pinterest
Pinterest
Partager sur linkedin
LinkedIn

2 commentaires

  • Rien de neuf sous le soleil. Publier un article avec des résultats négatifs a toujours été beaucoup plus difficile qu’avec des résultats positifs… Je crois même me souvenir que plus l’impact factor est élevé plus le pourcentage d’articles rétractés l’est aussi, a fortiori non reproduits, enfin reproduit au sens répétable et non recité…
    Le scoop est toujours une prise de risque, c’est l’effet boomerang.
    Certains scientifiques qui sentent même bien le sens du vent, publient des résultats probables sans faire l’expérimentation, résultats « reproduits » sans problèmes par d’autres…
    Un signal faible mais interpellant (inhabituel, précoce, imprévu…) est toujours plus remarqué qu’un signal fort (solide, confirmé, consensuel…) mais attendu; c’est humain, c’est utile aussi.

    Répondre
  • Publier les études négatives est possible… Le problème est plutôt du coté des auteurs qui ne soumettent pas les manuscrits (https://www.redactionmedicale.fr/2020/04/les-revues-scientifiques-publient-les-etudes-negatives-abandonnons-les-vieilles-croyances?preview_id=6795&preview_nonce=073a744f15&_thumbnail_id=-1&preview=true). Effectivement, ce sont les revues prestigieuses qui rétractent plus, mais sans savoir pourquoi exactement : plus de pression et plus d’études pipotées, mais certains, dont je fais partie pensent aussi que les autres revues moins prestigieuses ne savent pas et ne veulent pas rétracter : le cas des articles Raoult embellis, mensongers est un exemple de non rétractation.

    Répondre

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Articles populaires

Archives mensuelles

Suivez-nous

Newsletter

Inscrivez-vous à notre newsletter mensuelle

Tags

Vous pourriez aussi aimer