Chicago est la ville du Peer Review
En terme de recherche éditoriale, de journalologie, c’est l’un des meilleurs rendez-vous entre rédacteurs de revues et chercheurs en métascience. Le premier congrès s’est tenu à Chicago (siège de l’AMA, American Medical Association, propriétaires des journaux du groupe JAMA) en 1989 et ensuite tous les quatre ans, avec quelques essais de délocalisation en Europe sans succès. En 1997, Prague était une bonne destination, mais en 2001, à Barcelone, la date était mal choisie !!!! La première journée était le 14 septembre 2001, et la plupart des participants (la moitié ?) avaient été bloqués suite à l’effondrement des tours jumelles de New York. Teams et zoom n’existaient pas et les présentations ont été faites par des orateurs de substitution !!! Depuis le congrès est revenu à Chicago ! Initialement, ce congrès s’appelait International Congress on Peer Review in Biomedical Publication, et le terme Biomédical a été remplacé par Scientific… mais les représentants des domaines de la biomédecine sont toujours les plus représentés. A l’origine, deux journaux, JAMA et BMJ étaient les organisateurs avant d’être rejoint par METRICS (Meta-Research Innovation Center at Stanford). Le congrès a plus de 25 ans et son histoire a été décrite en 2018. Beaucoup d’avancées en 25 ans sur le peer review qui a été formalisé dans les années 1970s, par le journal Nature en priorité.
Le 10ème Peer Review congress sera hanté par l’IA
Les appels à contribution ont été publiés simultanément par le JAMA et par The BMJ. Le premier signataire est JPA Ioannidis de (METRICS) et l’objectif est toujours le même : to encourage research into the quality and credibility of peer review and scientific publication and to further the evidence base on which scientists can improve the conduct, reporting, and dissemination of scientific research. C’est un congrès de recherche et la plupart des grandes études sur le peer review ont été discutées lors de ces congrès. La plupart des rédacteurs en chef des revues prestigieuses y participent.
Dans cet appel à contribution, il y a un listing de 84 thèmes : les biais (7 thèmes) ; Editorial and Peer Review Decision-Making (15 thèmes) ; Research and Publication Integrity and Ethics (19 thèmes) ; Improving Research Design, Conduct, and Reporting (13 thèmes) ; Models for Peer Review and Scientific Publication (20 thèmes) ; Dissemination of Scientific and Scholarly Information (10 thèmes).
Soyons clairs : les discussions seront autour de quelques thèmes. L’IA sera présente de partout, mais les recherches sont rares sur Peer review et IA. L’intégrité scientifique, les méconduites seront très présentes. Les paper mills sont une problématique insoluble pour les revues : comment détecter ces articles écrits par des sociétés de services, en partie par l’IA, avec ou sans données fiables….. La désinformation, l’avenir du modèle économique, l’évaluation de la recherche seront aussi discutées.
Est-ce que le peer review est utile ?
Question bizarre car je suis persuadé que le peer review est utile, mais les faits sont durs. Le peer -review 
permet de rejeter les mauvais articles, mais améliore peu les bons articles. Les relecteurs ne détectent pas toujours les erreurs majeures, et former les relecteurs n’a jamais été montré très utile. Relisez ce bon article de 2008 dans The Journal of the Royal Society of Medicine (titre ci-dessus).
Pour le 9ème congrès, dans un esprit de développement durable, j’avais décidé de participer en ligne de chez moi ! Les frais d’inscriptions étaient les mêmes qu’à Chicago mais la frustration de voir des collègues sur un écran sans leur dire bonjour était difficile à supporter… Je vais probablement y aller pour croiser quelques collègues dont les rares français présents !
