Il s’agit d’une énorme étude publiée par BMJ Open le 29 septembre 2015 pour analyser le peer review en utilisant les avis de 800 reviewers. Ce très gros travail, dont les méthodes sont bien décrites, me conforte dans l’intérêt d’un peer-review totalement ouvert comme fait par certaines revues des groupes BMJ et BMC. Néanmoins, d'autres études seront utiles pour conforter ces données. Voici des traductions de parties du résumé :
Les revues médicale et biologique de BioMed Central (BMC Infectious Diseases et BMC Microbiology) sont similaires en taille, pour les taux de rejet, les facteurs d'impact et les processus éditoriaux, mais BMC Infectious Diseases utilise un peer review ouvert et BMC Microbiology un peer review en simple aveugle. Le Journal of inflammation a utilisé ces deux modèles d'évaluation par les pairs. Deux cents rapports d'évaluation de reviewers pour des manuscrits soumis à BMC Infectious Diseases, 200 soumis à BMC Microbiology et 400 soumis au Journal of inflammation ont été analysés.
Pour chaque revue, les reviewers suggérés par les auteurs ont fourni des rapports de qualité comparable au reviewers non suggérés par les auteurs, mais ils étaient significativement plus susceptibles de recommander l'acceptation, quel que soit le modèle d'évaluation par les pairs (p <0,0001 pour BMC Infectious Diseases, BMC Microbiology et le Journal of inflammation). Pour BMC Infectious Diseases, la qualité globale des rapports des reviewers mesurées par le ‘Review quality instrument’ était 5% plus élevé que pour BMC Microbiology (p = 0,042). Pour le Journal of 'inflammation, la qualité des rapports était la même quel que soit le modèle d'évaluation par les pairs utilisé.
La conclusion est nuancée, et il faudra d’autres études avec d’autres revues pour conforter nos opinions. Les reviewers suggérés par les auteurs fournissent des rapports de qualité comparable aux reviewers non suggérés, mais ils sont beaucoup plus susceptibles de recommander l'acceptation. Les rapports d'évaluation ‘ouverts’ pour BMC Infectious Diseases étaient de meilleure qualité que les rapports en simple aveugle pour BMC Microbiology. Il n'y avait aucune différence dans la qualité de l'évaluation par les pairs dans le Journal of Inflammation en comparant les peer review ouvert et simple aveugle.
Gros travail, bien fait, avec rigueur… qui confirme la difficulté de bien évaluer le peer review. C’est la première fois que des systèmes de peer review sont comparés entre deux revues assez similaires, et au sein d’une seule revue, et le nombre d’avis de reviewers inclus était grand : 800 ! La discussion dans l’article est intéressante.
