Des essais ont été faits pour tester des méthodes pour améliorer le peer-review. Les premières recherches faites en 1982 avaient créé des polémiques en montrant que des articles acceptés puis re-soumis pouvaient être refusés par la même revue. La subjectivité du peer-review a toujours existé alors que l'on voudrait que ce soit une méthode reproductible et de qualité. Si le peer- 
review était un médicament, il n'aurait pas d'autorisation de mise sur le marché ! Des articles appellent pour une amélioration du peer-review, car la formation des relecteurs n'a jamais montré son efficacité. J'ai publié de nombreux billets sur le peer review….
L'étude du groupe de Ph Ravaud, Hôtel-Dieu, Paris, est bienvenue et originale. Bienvenue car il faut d'abord se poser les bonnes questions : comment évaluer le peer-review ? Originale car la méthode a utilisé une enquête électronique à laquelle ont participé 204 experts qui devaient évaluer des vignettes décrivant des méthodes de recherche sur le peer review. L'article publié le 15 octobre 2018 dans BMC Medicine est une base pour ceux qui veulent travailler sur le peer-review. Vous prendrez plaisir à le lire : les interventions ont été sélectionnées à partir de l'image ci-jointe (que vous pouvez copier dans une diapo en remerciant les auteurs et citant la source)… et 6 interventions ont été choisies : formation des relecteurs, ajouter un relecteur, utiliser les lignes directrices, le 'result-free peer review' (vaccin contre les biais), récompenser les relecteurs, le PPPR (Post-Publication Peer Review).
La lecture de l'article est plaisante, instructive et permet de réfléchir sur le peer-review : pourra-t-on l'améliorer un jour ? Ne faudra-t-il pas attendre des méthodes automatiques, et l'intelligence artificielle en 2030 ?
En bref, les essais randomisés avec des manuscrits originaux soumis aux revues, au sein de plusieurs rédactions, sont les meilleures méthodes. Je voudrais résumer le résultat principal en traduisant une partie d'paragraphe de la discussion : Nos résultats ont révélé que les modèles préférés étaient souvent très similaires aux modèles les plus fiables, mais très différents des modèles les plus réalisables. Les milieux préférés étaient généralement ceux de plusieurs revues biomédicales d'un ou de plusieurs éditeurs, et le type de manuscrit préféré évalué par le relecteur/reviewer était toujours un manuscrit réel soumis à la revue. Par contre, les conceptions les plus réalisables étaient souvent consignées dans une seule revue biomédicale, avec évaluation d'un manuscrit fabriqué. Certains modèles, comme les essais contrôlés randomisés avec randomisation des manuscrits ou des pairs examinateurs, étaient habituellement bien cotés.
Heim A, Ravaud Ph, Baron G, Boutron I. Designs of trials assessing interventions to improve the peer review process: a vignette-based survey. BMC Medicine201816:191
