C’est incroyable… Depuis le début des années 90s (il y a 30 ans), les alertes se succèdent pour signaler la médiocrité moyenne des articles et rien ne change. Félicitons une équipe d’auteurs australiens qui ont montré que malgré des mises à jour des instructions aux auteurs, rien ne change.
Spins : 64 % des articles avec des valeurs de p entre 0,05 et 0,1 les ont interprétées de manière erronée comme des tendances statistiques
J’ai aimé un manuscrit déposé fin novembre 2023 sur F1000Research, plateforme que je trouve pas mal. Bon modèle de publication. Ce manuscrit attend d’être évalué par des pairs et en le lisant, j’ai remarqué des points à corriger. Je n’ai pas 2 ou 3 heures pour écrire un avis de lecture ! Cela ne remet pas en cause le fond. Il est agréable à lire et les 54 références permettent d’avoir une collection d’articles montrant la médiocrité de le littérature. Allez voir la figure 1 : pour 580 articles du Journal of Neurophysiology, la plupart des items sont mauvais pour la moitié des articles, donc les articles sont à jeter. Le message rejoint celui d’un article de PLOS que j’ai présenté le 14 novembre.
Les auteurs s’interrogent sur les responsables de ces dérives majeures. Qui sont-ils ? Les relecteurs/réviseurs/reviewers en premier lieu.. Oui mais ils n’ont pas le temps de lire et ils ne connaissent pas bien les stat ! Les rédacteurs des revues… Oui, mais ils veulent faire vivre leur revue et publier en priorité ! Les auteurs et chercheurs… Oui, mais ils doivent faire avancer leur carrière en priorité ! Les causes sont surtout systémiques : les incitations du type Publish or Perish, les modèles économiques des revues et des allocations des ressources pour les chercheurs. C’est la faute à tout le monde… Bien d’accord et tous attendent que le voisin bouge et donne l’exemple… mais, malgré toutes les déclarations vertueuses, rien ne bouge.
Je rejoins les auteurs : leur travail confirme d’autres données
Voici une traduction du résumé qui est fidèle à l’article :
Une bonne communication des résultats de la recherche est fondamentale pour une science de qualité. Malheureusement, les mauvais rapports sont fréquents et ne s’améliorent pas avec les stratégies éducatives des rédactions. Nous avons cherché à savoir si le fait de mettre publiquement en évidence les mauvais comptes rendus d’une revue pouvait conduire à une amélioration des pratiques en matière de comptes rendus. Nous avons également cherché à savoir si les rédacteurs et le personnel d’une revue appliquaient les pratiques de présentation des résultats qui sont exigées ou fortement encouragées dans les instructions aux auteurs. Un audit réalisé en 2016 a mis en évidence les mauvaises pratiques en matière d’information dans le Journal of Neurophysiology. En août 2016 et 2018, l’American Physiological Society a mis à jour les informations destinées aux auteurs, en introduisant notamment plusieurs pratiques de signalement obligatoires ou fortement encouragées. Nous avons vérifié les articles du Journal of Neurophysiology publiés en 2019 et 2020 (téléchargés par la bibliothèque de l’Université de Nouvelle-Galles du Sud) sur des éléments de rapport sélectionnés à partir de l’audit de 2016, les pratiques de rapport nouvellement introduites et les éléments des audits précédents. Des statistiques sommaires (moyennes, effectifs) ont été utilisées pour résumer les résultats de l’audit. Au total, 580 articles ont été contrôlés. Par rapport aux résultats de l’audit de 2016, plusieurs pratiques de déclaration sont restées inchangées ou se sont aggravées. Par exemple, 60 % des articles ont indiqué à tort des erreurs standard de la moyenne, 23 % des articles ont inclus des mesures de variabilité non définies, 40 % des articles n’ont pas défini de seuil statistique pour leurs tests et, lorsqu’ils étaient présents, 64 % des articles avec des valeurs de p entre 0,05 et 0,1 les ont interprétées de manière erronée comme des tendances statistiques. En ce qui concerne les nouvelles pratiques d’établissement de rapports, les pratiques obligatoires ont été systématiquement respectées par 34 à 37 % des articles, tandis que les pratiques fortement encouragées ont été systématiquement respectées par 9 à 26 % des articles. Le respect des autres pratiques auditées en matière de rapports a été comparable à nos audits précédents. Le fait de souligner publiquement les mauvaises pratiques en matière d’établissement de rapports n’a guère contribué à améliorer les rapports de recherche. De même, le fait d’exiger ou d’encourager fortement les pratiques en matière d’établissement de rapports n’a été que partiellement efficace. Bien que le présent audit ait porté sur une seule revue, il ne s’agit probablement pas d’un cas isolé. Des mesures plus énergiques et plus stratégiques sont nécessaires pour améliorer la qualité des rapports de recherche.
3 commentaires
Toutes les sciences ne posent évidemment pas des problèmes équivalents. Les mathématiques principalement, et peut-être les sciences physiques à un moindre degré (voire celles de la terre et du cosmos bien qu’encore moins), semblent reposer sur une assez forte objectivité expérimentale et une exposition assez limitée aux biais d’observation, d’analyse et d’interprétation. Pourtant les résultats fallacieux et les idées erronées n’y manquent pas.
En revanche, dans les sciences de la vie (disons : biologiques et humaines), il me parait sage d’adopter vis-à-vis de la matière éditoriale le principe suivant : sauf exception, tout y est faux. Les erreurs méthodologiques (souvent grossières, parfois occultes) sont nombreuses ; les biais de toutes sortes (en général inconscients, parfois délibérés) sont inévitables ; les difficultés d’exécution comme d’interprétation sont majeures ; la reproduction est constamment négligée voire impossible ; et bien entendu des intérêts considérables sont souvent en jeu.
Faut-il en conclure qu’il faut cesser de lire les publications dans ces domaines ? Assurément pas, car on peut toujours en retirer une manne d’informations – mais au prix d’un monumental travail de lecture critique portant sur un nombre immense de publications sur chaque sujet étudié. Il ne faut évidemment prendre pour argent comptant aucun résultat publié, même par une équipe de haute volée – quand bien même il s’agirait d’une synthèse (« revue narrative » ou « méta-analyse »… plus souvent prétendue que véritable quand elle ne conduit pas à une absence de conclusion fiable).
C’est grâce justement aux constats incessants des erreurs qu’elles commettent que les sciences de la vie progressent très régulièrement. Depuis un demi-siècle que je m’y adonne, chaque jour qui passe me révèle la fausseté de plusieurs idées que j’avais acquises en étudiant la littérature biomédicale, au point qu’il ne reste aujourd’hui presque plus rien de vrai dans ce que j’ai lu hier, qui n’était en réalité qu’un ramassis de conjectures. Même si elle remplace une idée par une autre qui vaut peut être à peine mieux, chacune de ces réfutations est pourtant la source irremplaçable de notre savoir.
Inutile donc de se lamenter sur la qualité des productions éditoriales : nous devons travailler en gardant toujours à l’esprit la modestie du doute et la prudence du scepticisme… à la condition essentielle d’y être réellement formé – et c’est peut-être là que le bât blesse.
Merci pour ce commentaire… C’est triste car vous avez certainement raison !!
Cordialement
Merci Monsieur Rimbaud pour cela :
« Chaque jour qui passe me révèle la fausseté de plusieurs idées que j’avais acquises en étudiant la littérature biomédicale, au point qu’il ne reste aujourd’hui presque plus rien de vrai dans ce que j’ai lu hier, qui n’était en réalité qu’un ramassis de conjectures. Même si elle remplace une idée par une autre qui vaut peut être à peine mieux, chacune de ces réfutations est pourtant la source irremplaçable de notre savoir. »
Je trouve que vous reformulez avec élégance le « Je sais que je ne sais rien » attribué à Socrate il y a plus de 2400 ans.
Il s’agit pour moi d’une posture basse, un posture qui m’autorise à exprimer le soignant que j’aspire à être et à écarter le sachant que la littérature souhaite créer en moi.
Cette littérature enivrée de chiffres qui sont tout sauf être réels, des observations soumises à interprétations, à la différence des souffrances, des relations et des joies que je partage avec les humains qui m’accordent leur confiance pour les soigner.
Cette littérature, source majeures d’idées et de concepts qui m’aident à ne pas avoir raison mais à résonner avec les doutes et les espoirs que ma pratique remue chaque jour dans mon coeur et mon esprit, et à chercher la puissance créatrice d’une incertitude sereine.