Ivan Oransky a qualifié le Peer Review Congress de 'Jeux Olympiques' car il est organisé tous les 4 ans à Chicago. La salle plénière était comble pour l'ouverture par Drummond Rennie avec un honneur pour Eugene Garfield, inventeur du facteur d'impact, disparu en février 2017. Ce congrès a reçu 260 abstracts, et le programme avec abstracts (120 Pages) contient 45 présentations orales de recherche, 86 posters.. et beaucoup de discussions entre rédacteurs. Suivre sur twitter #PRC8
Ouverture par Lisa Bero, de Sydney, avec une conférence : "Peer review: are we looking at the right things?". Où vont les revues ayant des articles de 10 à 15 pages avec des suppléments de 50 à 100 pages ? Lisa a listé des biais (et discuté les solutions) : Bias in research agendas (Meta-research); Unpublished studies (Protocol publication, trial registries); Selective outcome reporting (Registries, open access to data); Bias in methods (Reporting standards, tools for assessing risks of bias); Bias in analysis (Open data, statisticians); Bias in interpretation / presentation 'spin' (???); Funding bias (Disclosure mostly); Conflict of interest (Disclosure only).
Elle a posé la question "What do we know about peer review (PR)?" et les réponses ont été : 1) We believe in PR; 2) We are not sure what it is; 3) It takes time; 4) We know a lot about the process, but not the outcome; 5) PR can go wrong, very wrong. Elle a ensuite discuté les problèmes majeurs, à savoir les conflits d'intérêts, et les spins. Les spins ont été définis : biased presentation or interpretation to make results look more favorable.
La session sur les biais et conflits d'intérêts a été modérée par Véronique Kiermer (PLOS). Une analyse sur les conflits d'intérêts (page 17 livre des abstracts) dans les revues systématiques a conclu : les revues systématiques avec des conflits d'intérêts (médicaments et dispositifs médicaux) ont des conclusions plus favorables que celles sans conflits, et sont de plus mauvaise qualité méthodologique. Il est n'est pas possible de dire si ces conflits ont un impact sur les résultats.
Dans le groupe Nature (25 revues), entre mars 2015 et février 2017, 128 454 articles ont été reçus (dont 106 373 soumissions spontanées). Les auteurs doivent choisir s'ils veulent un peer review double blind (reviewers et auteurs n'ont aucun nom) ou single blind (reviewers connaissent les auteurs, mais les auteurs n'ont pas les noms des reviewers). Chez Nature, 12 % des auteurs ont demandé un double blind, et il semble que ce soient les auteurs qui soumettent aux revues prestigieuses, et ce sont des auteurs d'institutions moins prestigieuses qui choisissent le double blind.. mais tout ceci est difficile à analyser car beaucoup de données. Les comparaisons entre pays sont intéressantes. Discussions dans la salle : des revues changent encore de single blind à double blind ! Défense de l'Open peer review par F Godlee (rédactrice en chef du BMJ).
Des données provenant des revues des science de la terre ont montré que les femmes sont beaucoup moins engagées dans le peer review par rapport aux hommes. Les femmes représentaient 21 % des reviewers, et 27 % des premiers auteurs sur des échantillons de 24 000 reviewers, et de 30 000 auteurs, entre 2012 et 2016.
PS: les temps changent aux USA car pommes et bananes ont remplacé les gros muffins des pauses café !
