Tous les travers du peer-review (évaluation des articles par les pairs) ont été décrits.. Ne serait-ce que l’investigation de la chambre des communes au Royaume-Uni (300 pages) après l’affaire Wakefield (article du Lancet proposant l’hypothèse d’un lien entre vaccin ROR et autisme). Se plaindre que le peer-review ne détecte pas les fraudes est facile : il n’a jamais été mis en œuvre avec cet objectif. Le peer-review serait un loto puisque tous les gagnants ont tenté leur chance.
Cette revue générale de 15 pages parue dans la revue Research Integrity and Peer Review nous apporte une vision complète de ce qu’est le peer review qui change beaucoup avec les technologies, les fraudes mises en évidence, la science ouverte (les populaires preprints n’ont pas de peer-review), etc… Il y a de bonnes choses dans cette revue, dont un tableau 2 listant toutes les problématiques liées au peer-review.
Tous les modèles ont été essayés (voir reprise du tableau 1 de l'article ci-dessous) avec des variantes. Quand faut-il évaluer les articles publiés : jamais, avant la recherche (modèle Registered Reports), entre la soumission et la publication (modèle le plus utilisé), après publication (exemple de PubPeer), voire en mélangeant les méthodes….
L’introduction de logiciels et technologies pourrait modifier le peer-review. Les détecteurs de plagiat sont un exemple, et bientôt des outils pour évaluer les statistiques (pas sûr), voire des outils pour détecter l’intégrité ! il y a de nombreux projets pour mieux manager le process : Peerage of Science, RUBRIQ, Axios Review,… la question non résolue : peut-on former les reviewers et comment ?
Le peer-review est d’une extrême diversité. Il y a de nombreuses problématiques : 1) les conditions de sélection, dont le timing et le taux d’acceptation ; 2) l’identification des acteurs et les interactions entre eux ; 3) les niveaux de spécialisation du peer-review ; 4) la mise en œuvre des technologies (est-ce que l’intelligence artificielle va remplacer le peer-review ?). Mais qu’attend-on du peer review : assurer la qualité et l’exactitude de la recherche publiée, établir une hiérarchie des recherches publiées, proposer une méthode honnête et des opportunités égalitaires pour les acteurs, s’assurer que les publications sont intègres et non frauduleuses.
C’est une revue générale exhaustive qui constitue une bonne base pour ceux qui veulent réfléchir au passé et à l’avenir du peer-review. Il y a 119 références, et tous les articles majeurs ont été cités. J'ai déjà un bon nombre de billets sur le peer-review, mais je n'ai pas les solutions….
2 commentaires
Petite partage d’expérience sur les logiciels de plagiat sur les plateformes de soumission.
J’ai soumis un manuscrit qui analysait une base de données avec une technique stat un peu complexe. Après 3 tentatives, j’ai abandonné une soumission et changé de revue, car l’éditeur me renvoyait que le ms avait un taux de plagiat de 28%. Or le logiciel comptabilisait le nom de cohorte, les acronymes, le nom de le technique stat, les descripteurs dans les tableaux (sex, education…) comme du plagiat. Nous avions 2 phrases similaires à un ancien papier utilisant la même technique stat que nous avons reformulées mais le taux ne changeait pas.
Malgré plusieurs courriels, l’éditeur n’a a jamais prise en compte nos explications. Bref, l’automatisation de certaines tâches a des limites (dans mon cas)
Bonjour
trop de personnes confondent similitudes et plagiat !!! Un bon rédacteur devrait éliminer des parties du ms (dont les méthodes) avant de passer au logiciel anti-similitudes. Un taux de 28 % est pour certains considéré comme presque normal, et ils ont raison.
Bien d’accord avec vous
Cdlmt
HM