C’est une revue systématique publiée en juillet 2021 par JAHA qui expose un travail original important. Accès libre de l’article. Le protocole a été enregistré sur Prospero et il y a beaucoup d’annexes (le pdf fait 44 pages). Le peer-review, c’est l’étalon-or de la qualité des publications, mais peu de bonnes recherches ont été faites pour en évaluer la qualité, l’utilité, etc… Et tout se dit : c’est un mauvais système, mais il n’y a pas mieux.
Cette recherche a identifié 575 articles après exclusion des doublons, et 24 essais randomisés ont été inclus dans la revue systématique. Il y avait 13 recherches américaines, 6 du Royaume-Uni, 3 espagnoles, 1 indienne et 1 danoise. Neuf ont été publiées avant 2000 et 15 après 2000. Les évaluations ont été faites au niveau des auteurs (8), des relecteurs (16), des rédacteurs (3). Trois recherches ont concerné plus d’un niveau. Les résumés des études sont faites dans le tableau 1 sur six pages de l’article ! Ce sont des études complexes à faire, le plus souvent au sein de rédaction des revues, avec des indicateurs à élaborer.
Un extrait du résumé : Les effets des interventions ont été rapportés en tant que changement moyen dans la qualité de la relecture, la durée du processus de relecture par les pairs, le taux d’acceptation / rejet, la qualité du manuscrit et le nombre d’erreurs détectées dans 13, 11, 5, 4 et 3 études respectivement. Lors de la méta-analyse en réseau, les interventions au niveau des relecteurs ont été associées à une amélioration significative de la qualité de la relecture (Standardized Mean Difference SMD, 0,20 [0,06 à 0,33]), au prix d’une augmentation de la durée du processus de relecture (SMD, 0,15 [0,01 à 0,29]), à l’exception de l’aveugle des relecteurs. Les interventions au niveau des auteurs et des rédacteurs n’ont pas eu d’impact significatif sur la qualité et la durée de la relecture par les pairs (respectivement, SMD, 0,17 [-0,16 à 0,51] et SMD, 0,19 [-0,40 à 0,79] pour la qualité, et SMD, 0,17 [-0,16 à 0,51] et SMD, 0,19 [-0,40 à 0,79] pour la durée).
Rien de très flagrant dans ces données…. Ce sont des études diverses, avec parfois des échantillons insuffisants… et pourtant ces 24 essais sont les meilleurs disponibles. Le concept de qualité du peer-review est complexe ! Il y a peu d’études, et des résultats contradictoires ont été observés.
Un éditorial ‘Reviewing the peer-review‘ accompagne cette revue systématique. Parmi toutes les bonnes pratiques de publication, le peer-review est la pratique la plus difficile à mettre en oeuvre et à évaluer. les critères dévaluation sont subjectifs…. L’article a été relu par deux relecteurs : l’un a accepté, l’autre a refusé la publication ! L’auteur de l’éditorial expose le devenir de l’un de ses projets de recherche soumis à deux agences : haute priorité pour une agence, rejet pour l’autre ! Situation commune ?? Il y a aussi une mise en garde sur la pratique des pré-publications en médecine… sans peer-review.
