Le billet sur l'inefficacité des formations des reviewers a attiré des commentaires sur le peer review ouvert. Je suis assez d'accord avec les commentaires disant que le peer review ouvert serait meilleur, etc.. mais que répondre à ces commentaires ? Je n'ai pas trouvé de comparaison du système ouvert de peer review avec les autres systèmes, en lisant des rapports, dont celui d'une commission du parlement anglais en 2011.
Il existe 4 types de peer review :
- simple aveugle : le relecteur a les noms des auteurs, mais le nom du relecteur est anonyme ;
- double aveugle : les noms des auteurs sont masqués pour le relecteur (mais ils les devine en regardant la liste des références, et sur quelques détails des méthodes) ;
- ouvert : tout est clair, comme le font le BMJ et les revues du groupe BioMedCentral ; dans certains cas, le lecteur a accès aux comptes rendus des relecteurs ;
- le 'post-publication' peer review qui n'a jamais vraiement décollé malgré les expériences (mise en ligne immédiate des articles soumis pour collecter les commentaires, etc..)
Dans l'enquête de 2008 du 'Peer reveiw consortium' sur 3040 universitaires, le double aveugle était préferré par 56 % (n = 1703) des répondeurs, le simple aveugle par 25 % (n = 770), l'ouvert par 13 % (n = 392), et le post par 5 % (160). Donc l'ouvert est minoritaire…. mais tous les commentaires admettent que cette méthode est la plus honnête, et que le relecteur est responsable. Le rapport de cette enquête (80 pages) donnent de nombreux résultats.
Des revues comme PLoS Medicine encouragent le peer review et demandent aux relecteurs s'ils acceptent de révéler leur nom : la plupart refusent ! Le BMJ a beaucoup évalué le peer review ouvert, et constaté que des relecteurs refusent que leur nom soit public.
Sur le peer reveiw ouvert, la commission du parlement anglais a eu une recommandation assez vague (numéro 78, page 28 ) : "The principles of openness and transparency in open peer review are attractive, and it is clear that there is an increasing range of possibilities. There are mixed results in terms of acceptance amongst researchers and publishers, although some researchers are keen to see greater transparency in their fields. We encourage publishers to experiment with the various models of open peer review and transparency and actively engage researchers in taking part."
2 commentaires
Il y a une inégalité de traitement entre auteurs et relecteurs. Je reste convaincu que la relecture doit être ouverte. Les relecteurs refusant l’ouverture devraient se demander si en tant qu’auteurs, ils accepteraient que leurs travaux soient publiés anonymement. On fait la chasse aux ghost authors, il faudrait commencer par faire la chasse aux ghost reviewers… Le processus qui dans l’immense majorité des cas fait qu’un relecteur demande je ne sais combien de manip, qui souvent n’apportent rien ou alors base leur avis sur au mieux une opinion ou la foi est désespérant…
Un argument pour dire que le formation des reviewers n’améliore pas forcément la qualité des analyses. Le Fonds d’Assurance Formation de la Profession Médicale (FAF-PM) essaye en permanence d’améliorer la qualité de l’évaluation des projets qui lui sont soumis dans le cadre de son appel à projet annuel. Pour celui de 2011, deux experts relecteurs sur 8 se sont distingués par une particulière sévérité. Aussi en 2012 a été organisée une conférence téléphonique pour bien expliquer les points sensibles et harmoniser les jugements. Résultats : pour ce dernier appel à projets, deux relecteurs se sont encore distingués par leur particulière sévérité. Ils avaient pourtant l’un et l’autre fait l’objet d’une préparation individuelle spécifique et bien entendu, il s’agissait … des deux mêmes que l’année précédente.