Cet article de RIPR du 21 février 2022 est une recherche du centre de journalologie d’Ottawa dirigé par David Moher. Son titre est simple : Characteristics of ‘mega’ peer-reviewers. Les données observées surprennent. Un premier biais est l’origine des données : Publons, et nous ne savons pas bien qui a un compte Publons. J’ai un compte mais je ne l’utilise pas. J’ai traduit le résumé et reproduit un tableau de cet article :
Background: La demande de relecteurs d’articles (peer-review) est souvent perçue comme disproportionnée par rapport à l’offre et à la disponibilité des relecteurs. La prise en compte des caractéristiques associées au comportement des relecteurs peut permettre de développer des solutions pour gérer la demande croissante de relecteurs. L’objectif de cette recherche était de comparer les caractéristiques de deux groupes de relecteurs enregistrés dans Publons.
Methods: Un plan d’étude transversal descriptif a été utilisé pour comparer les caractéristiques entre (1) les personnes ayant réalisé au moins 100 évaluations par les pairs (« méga relecteurs ») de janvier 2018 à décembre 2018, et (2) un groupe témoin de relecteurs ayant réalisé entre 1 et 18 évaluations par les pairs sur la même période. Les données ont été fournies par Publons, qui propose un référentiel des activités des relecteurs en plus du suivi des publications des relecteurs et des métriques de recherche. Des tests de Mann Whitney et des tests de chi carré ont été effectués pour comparer les caractéristiques (par exemple, le nombre de publications, le nombre de citations, le nombre de mots de l’avis des relecteurs) des méga relecteurs par rapport au groupe témoin de relecteurs.
Results: Au total, 1 596 relecteurs disposaient de données fournies par Publons. Un total de 396 méga-relecteurs et un échantillon aléatoire de 1200 relecteurs du groupe de contrôle ont été inclus. Une plus grande proportion de méga-relecteurs étaient des hommes (92 %) par rapport aux relecteurs du groupe témoin (70 % d’hommes). Les méga relecteurs ont démontré un nombre moyen significativement plus élevé de publications, de citations, de réception de prix Publons, et un indice h moyen plus élevé par rapport au groupe témoin de relecteurs (tous p < .001). Nous n’avons trouvé aucune différence statistiquement significative dans le nombre de mots entre les groupes (p > 0,428).
Conclusions: Les méga relecteurs enregistrés dans la base de données Publons avaient également un nombre plus élevé de publications et de citations par rapport à un groupe témoin de relecteurs. Des recherches supplémentaires qui prennent en compte les motivations associées au comportement d’évaluation par les pairs devraient être menées pour mieux comprendre l’activité d’évaluation par les pairs.
Tous les paramètres du tableau ci-dessus sont statistiquement différents. Qui sont ces relecteurs qui évaluent 2 articles par semaine ? Sont-ils payés ? Ont-ils des esclaves qui lisent pour le chef qui signe ? Ce sont des ‘gros publiants’. Ils sont asiatiques et européens. Les avis font une demi-page… Est-ce sérieux de répondre en 228 mots ? Quelle est la qualité de ces avis ? Aucune donnée, et l’objectif de cette recherche n’était pas de rechercher des causalités.
Qu’en penser ?
