L’idée de proposer aux reviewers des recommandations pour analyser les articles est bonne, mais cette stratégie ne semble pas très efficace. Un essai randomisé a été effectué au sein du journal catalan « Medicina Journal ». Les auteurs ont comparé une relecture d’article dite ‘conventionnelle’ à une relecture dite complémentaire avec utilisation de recommandations CONSORT (recos pour publier les essais randomisés) ou STROBE (recos pour les études observationnelles en épidémiologie). Ces recommandations ont été faites pour les auteurs lorsqu’ils préparent des manuscrits, et n'ont pas été concues pour des reviewers.
126 articles envoyés pour un peer review ont été sélectionnés. Ce sont 41 articles ayant eu une analyse conventionnelle qui ont été comparés à 51 ayant eu l’analyse complémentaire. La qualité des manuscrits modifiés a été analysée avec une échelle de Likert de 1 à 5… Je passe sur les méthodes, car cet article est long et très détaillé. Le résultat attendu n’a pas été observé : seule une amélioration minime a été observée dans le groupe des analyses complémentaires. Les auteurs ayant reçu les analyses ont eu du mal à appliquer correctement les suggestions liées à CONSORT ou STROBE. Ce travail n’est pas généralisable, car fait sur un journal expagnol, sur un petit effectif d’articles,…
Une suggestion des auteurs de ce travail : les auteurs d’articles ont des difficultés pour répondre aux objectifs de CONSORT ou STROBE lors de la rédaction ; ces recommandations doivent clairement être prise en compte dès la rédaction des protocoles, et la réalisation des études.
Cobo E et al. Effect of using reporting guidelines during peer review on quality of final manuscripts submitted to a biomedical journal: masked randomised trial. BMJ 2011;343:d6783.