Nombreux sont les articles sur le peer-review : celui de David Resnik et Susan Elmore est la meilleure synthèse sur ce sujet. L’article paru dans SEE le 30 janvier 2015 fait 20 pages, et contient toutes les références principales. Une bonne heure sur cet article vous pemettra de contredire toutes les bêtises que l’on entend sur ce thème. Resnik et Elmore listent toutes les données factuelles existantes, et souvent n’apportent pas de conclusion ou d’opinion ferme en l’absence de données : bravo.
Le peer-review est un contrôle de qualité des articles, apporte une amélioration de la qualité par les changements faits par les auteurs. Il a un rôle d’éducation des auteurs en rappelant les bonnes pratiques de recherche. Resnik et Elmore citent une enquête avec 1340 scientifiques : 60 % pensent que les reviewers sont incompétents !
Les problèmes : 1) les relectures sont insuffisantes, car parfois des erreurs simples ou des biais méthodologiques ne sont pas vus par les relecteurs ; le peer-review ne détecte pas les fraudes ; 2) les relectures sont inconsistantes car trop subjectives ; la reproductibilité du peer-review est très mauvaise, et toute décision dépend des relecteurs ; 3) des relectures sont biaisées par des liens d’intérêts, par des biais de genre (reviewers homme/femme), par des biais liés aux institutions d’origine, par un favoritisme de la langue anglaise ; 4) des relectures sont non éthiques.
Il faut conserver le peer-review, mais comment l’améliorer ?
- en augmentant le nombre de reviewers par article : pas sûr !
- en formant les reviewers : des essais ont montré que cela n’était pas ou peu efficace ;
- par le double aveugle ou l’ouvert : attendons des données objectives pour savoir si ces 2 systèmes peuvent améliorer le peer-review ; bonne discussion sur ces points avec avantages et inconvénients des systèmes ;
- en fait les rédacteurs doivent promouvoir qualité, intégrité et probité dans ce système en sélectionnant correctement les reviewers, en guidant les reviewers avec des instructions appropriées, en évaluant les rapports d’expertise des reviewers, en communiquant mieux les décisions aux auteurs, en utilisant mieux le ‘post-publication peer-review’ et en publiant corrections, expressions de doutes et rétractations.
Il faut encore plus de recherches sur le peer-review car nos preuves ne sont pas très solides.
Merci à D Resnik, rédacteur associé de Accountability in Research.
Resnik DB, Elmore SA. Ensuring the quality, fairness, and integrity of journal peer review: a possible role of editors. Sci Eng Ethics 2015; doi 10.1007/s11948-015-9625-5
