Avis des reviewers : 500 mots en moyenne pour les revues légitimes comme pour les revues du groupe MDPI

Il s’agit d’un preprint déposé sur Research Square le 7 juin 2023 et qui a probablement été soumis à une revue scientifique. C’est un bon travail avec des données factuelles qui peuvent nous questionner.

Le peer review de MDPI identique à celui des revues légitimes ?

Voici la traduction française du résumé : L’évaluation par les pairs est un élément central de la communication savante, car elle apporte confiance et contrôle de la qualité des connaissances scientifiques. L’un de ses objectifs est d’améliorer la qualité des manuscrits et d’empêcher la publication de travaux résultant de pratiques douteuses ou de mauvaise conduite. Dans un contexte marqué par la massification de la production scientifique, le règne de la règle Publish or Perish et l’accélération de la recherche, les revues laissent de moins en moins de temps aux évaluateurs pour produire leurs rapports. Il est donc crucial d’étudier si ces contraintes ont un impact sur la longueur des rapports des évaluateurs. Nous abordons ici l’exemple de MDPI, un éditeur Open Access suisse, décrit comme un éditeur gris et bien connu pour ses délais courts, en analysant la profondeur de ses rapports d’évaluateurs et de ses homologues. Pour ce faire, nous avons utilisé les données de Publons avec 61 197 publications distinctes évaluées par 86 628 évaluateurs. Nos résultats montrent que, malgré les délais courts, lorsqu’ils acceptent d’évaluer un manuscrit, les évaluateurs assument leur responsabilité et font leur travail de la même manière, quel que soit l’éditeur, et écrivent en moyenne le même nombre de mots. Nos résultats suggèrent que, même si les pratiques éditoriales de MDPI peuvent être discutables, tant que l’évaluation par les pairs est assurée par les chercheurs eux-mêmes, les publications sont évaluées de la même manière.

Le peer review est le pire des systèmes, mais nous n’avons pas mieux ! MDPI est un groupe de revues aux pratiques discutables. Pour certains, MDPI fait partie des éditeurs prédateurs. Le chiffre d’affaire, lié au volume de publication, est en augmentation incroyable… Je fais partie des ‘certains’ et je suis très réservé les pratiques de MDPI.

Ce travail est bien fait, à partir de Publons, avec des groupes contrôles bien construits et avec des analyses dans toutes disciplines : lisez les figures. Les publications d’origine chinoises sont nombreuses et les évaluations sont aux mains des américains (je résume un peu vite). De bonnes analyses géographiques.

Quelle que soit l’époque, la discipline, 500 mots est la norme !

La longueur moyenne des avis des reviewers est autour de 500 mots et ne varie pas avec le temps. Il y a des différences entre les 27 disciplines étudiées mais pas énormes. Par exemple la moyenne est de 700 mots pour les domaines “The Study of the Human Past” et “The Human Mind and Its Complexity”, de 600 mots pour “Environmental Biology, Ecology and Evolution”, “Neuroscience and Disorders of the Nervous System” et plus court (moyenne 320 mots en « Physical Sciences and Engineering ». Cette moyenne de 500 mots n’est pas différente entre les avis pour des revues MDPI, et des avis excluant les revues MDPI ! C’est une surprise. Il s’agit d’une étude factuelle sur la longueur des avis, à partir de la base Publons ; il ne s’agit pas d’une comparaison de la qualité des avis des relecteurs (il faudrait une échelle pour ce travail, mais il en existe). Des évaluations rapides faites pour MDPI ne semblent pas raccourcir les avis.

Si ce preprint est soumis à peer review, et si j’étais reviewer, je suggérerai de comparer ces données à celles de PLOS qui sont les mêmes : sur 229 296 avis de reviewers (2014 à 2016), la longueur moyenne était de 500 mots !!!

PS : je connais Mme C Boukacem-Zeghmouri