Encore un ennui pour ce peer review indispensable mais trop souvent décrié. En novembre 2010, un beau travail a été mis en ligne avant publication par un bon journal : Annals of Emergency Medicine (le journal de American College of Emergency Physicians). Il s'agit d'une analyse des avis de lecture réalisés par les reviewers. Beaucoup de journaux appliquent une échelle d'évaluation pour les avis de lecture transmis par les reviewers avec un score global de 1 (effort et qualité de l'analyse inacceptables) à 5 (exceptionnel, difficile à améliorer). En général, 10 à 20 % des avis de lecture des reviewers ont un score de 5.
Au sein de la rédaction de ce journal, sur une période de 14 ans (mars 1994, novembre 2008), 1499 reviewers ont remis 14 808 analyses d'articles qui ont eu un score. En moyenne ces reviewers ont servi le journal pendant 52 mois et analysé 9,9 articles (IC 95 % : 9,21 à 10,5). La moyenne des scores était de 3,8 : score 1 (277), score 2 (1073), score 3 (3737), score 4 (5929), score 5 (3792). Première remarque : chapeau bas, ces reviewers travaillent très bien….normal, les bons journaux repèrent les mauvais et les bons reviewers….
L'analyse des scores a montré qu' une dégradation mineure lente était observée dans la qualité des avis de lecture de 92 % des reviewers……. Beaucoup d'idées pour interpréter cela….y compris la dégradation cognitive due à l'âge…ainsi qu'il l'a été montré sur des pratiques médicales…
Nous nous rappellons qu'en 1994, le BMJ avait publié un essai randomisé montrant que la formation des reviewers avait peu d'impact sur la qualité de leurs avis de lecture…..
Callaham M, McCulloch C. Longitudinal trends in the performance of scientific peer reviewers. Ann Emerg Med. 2010 doi:10.1016/j.annemergmed.2010.07.027.
