PLOS ONE n’a pas eu l’influence attendue sur les revues considérées comme des clubs des savoirs

J’ai été très impressionné par ce petit livre de 115 pages qui évalue l’impact de PLOS ONE après 15 ans d’existence, et surtout l’impact sur le peer-review ! Il est en accès libre et aussi sous forme de livre chez Cambridge University Press (je suis content de l’avoir acheté pour mieux en profiter… Je l’ai lu deux fois ). Page 68 : « One of the core goals of the new PLOS review model was to change appraisal from novelty and significance to technical soundness, reproducibility, and scientific accuracy« . Et page 70 : « By demolishing disciplinarity, peer review for significance and novelty, copyediting, print publications and paywalls — all at the same time — PLOS ONE almost destroyed any binding notion of community that have survived« . Le modèle de PLOS ONE n’a pas été bien compris par la communauté des chercheurs…  l’objectif était de publier toutes recherches dont les méthodes étaient de qualité, en abandonnant le modèle ancien qui sélectionne les articles sur l’originalité, la nouveauté…. La communauté académique n’a pas bien suivi. Les instructions pour les relecteurs de PLOS ONE sont très bien faites.

Une analyse du fonctionnement de PLOS ONE a été faite par un groupe d’experts anglais et canadiens à partir des archives de 229 296 avis de lecture de 2014 à 2016 mis à leur disposition par les rédacteurs. La longueur moyenne était de 500 mots environ, et 90 % des avis commencent par un court résumé de l’article. Trop d’avis sont insultants pour les auteurs…. En général, les commentaires concernent : le domaine du savoir de l’article, des références aux données, les parties des analyses, des commentaires sur les omissions, sur les méthodes, et sur les expressions et la langue.

Ce livre apporte de nombreuses réflexions sur le peer review, ses modalités et reprend toute les bonnes études sur ce sujet. Il ne mentionne jamais le congrès international du peer review.. bizarre ! Depuis les années de sa création, les idées de Warmus, PLOS ONE n’a pas eu l’impact attendu car les revues sont des ‘clubs de savoirs‘ très résistants aux changements. Si les revues sont des clubs, est-ce que PLOS est une revue ? Les revues sont en silo, partagent peu entre disciplines, et les relecteurs privilégient encore l’innovation sur la qualité des méthodes.

Le fonctionnement de PLOS ONE ne repose pas sur un comité de rédaction, mais sur près de 10 000 ‘Academic editors’ qui évaluent les articles. PLOS ONE publie essentiellement des articles de recherche dans tous les domaines de la science, et est innovant en acceptant les registered reports, les preprints, la mise en ligne des avis des relecteurs…. PLOS ONE a été précurseur de nouveaux modèles de publication comme les plateformes F1000 et Wellcome Open Resarch. Dans ce livre, pas de commentaires sur d’autres mégarevues, et peu sur la reproductibilité des données, car ce travail de recherche ne répond pas aux demandes de PLOS sur le ‘data availibity statement’.

En conclusion, le peer review ne change pas !