Je constate en permanence la confusion entre revue à facteur d’impact (attribué par Clarivate) et qualité d’une revue : la naïveté de certains collègues est étonnante… Confusion aussi entre avoir obtenu un facteur d’impact et introduction, grâce à ce facteur d’impact, dans des listes dites positives de revues non prédatrices… Les revues prédatrices deviennent professionnelles et fonctionnent mieux : il est normal de leur attribuer un facteur d’impact car elles remplissent les 28 critères pour être accepté par Clarivate. Les revues de faible qualité ont gagné ! Elles plaisent à beaucoup de chercheurs.
Ceci est pour les naïfs :
- La société qui attribue les facteurs d’impact n’a rien à voir avec des structures académiques ou des sociétés savantes. Clarivate est une société à but lucratif, bien organisée, avec des employés de qualité, comme la rédactrice en chef de Web Of Science qui a fait une excellente présentation sur la mauvaise utilisation du facteur d’impact lors de la conférence mondiale sur l’intégrité. Un des objectifs de Clarivate est de répondre aux attentes des actionnaires. Ce sont des fonds d’investissement (Onex Corporation, Baring Private Equity Asia) qui ont racheté Thomson Reuteurs en 2016. Clarivate a des profits comparables aux sociétés de logiciels de divertissement, aux sociétés du tabac, donc supérieurs aux industries pharmaceutiques. Lisez la fiche Wikipedia pour vite comprendre qu’il n’y a nulle part de directives académiques. Clarivate sait que le facteur d’impact est un indicateur de notoriété (basé sur les citations), sans aucune évaluation de la qualité des revues.
- Pour obtenir un facteur d’impact, c’est un éditeur qui soumet un dossier, et il n’est pas étonnant que des revues des groupes de zones grises comme Bentham, MDPI, Frontiers et autres soient sélectionnées. Le site de Clarivate liste les 28 critères, et ce sont des critères de fonctionnement d’une revue. Il ne s’agit pas de critères de qualité des articles. Je ne liste pas ces 28 critères, mais il s’agit de prouver que la revue existe (ISNN, email, site internet,…), qu’elle a un comité de rédaction avec des affiliations, qu’elle publie régulièrement des articles, qu’elle affiche des règles d’éthique (afficher ne veut pas dire respecter et appliquer), qu’elle fait du peer review (aucune évaluation de la qualité du peer-review), que les titres sont en anglais, les références en caractères romains, etc….
- Pour augmenter un facteur d’impact en évitant les autocitations, des éditeurs organisent des citations croisées entre leurs revues ; des citations sont ajoutées aux articles sans systématiquement prévenir les auteurs ;
- Nandita Quaderi est une personne avisée qui est la rédactrice en chef de WoS : elle vient d’annoncer en juillet 2022 que 9 000 nouvelles revues (3 000 éditeurs) auront un facteur d’impact en 2023 (pays en voie de développement, sciences humaines,..). C’est du bon business, car la bibliométrie est utile.
- J’ai encore rencontré des collègues défendant une revue du groupe Bentham en m’expliquant qu’elle avait un facteur d’impact… oui, cette revue a une adresse, un site internet, des règles d’éthique pour être indexée dans WoS ; oui, cette revue organise les citations pour augmenter son facteur d’impact ; oui, elle est dans la liste des revues non prédatrices de Sorbonne Université ; mais, mais personne ne voit qu’il n’y a qu’un objectif mercantile en répondant aux chercheurs : publier vite sous réserve de payer ! Et tout le monde est content. Relisez les recommandations de 149 Académies, dont nos Académies françaises des sciences et de médecine (IAP pour InterAcademy Partnership). Dans le tableau 1 (page 15) du résumé français de ce rapport IAP, il y a la phrase ‘Ne pas se reposer sur des listes noires ou blanches, dont l’efficacité laisse à désirer.’ En page 51, dans le rapport complet, une phrase du résumé synthétise des données de ce rapport : ‘The common, and it would seem most popular, resources of binary “safelists” and “watchlists” that endeavour to delineate good practices from bad ones are flawed and risk disadvantaging less-established journals and conferences.’
- Si les autorités académiques, les sociétés savantes étaient aussi professionnelles que Clarivate, la science irait mieux. Nos hauts dirigeants n’appliquent pas toujours la première recommandation de DORA qu’ils ont signée, qu’en penser ?
5 commentaires
Commentaire parfait sur l’IF. Le grand malheur est que cet IF est utilisé, en médecine, par les CNU et les hôpitaux (perversion du systéme SIGAPS) pour évaluer les scientifiques. On peut les comprendre: à ce jour il n’y a rien d’autre, ou si peu.
Comme d’habitude la question essentielle est: qui aura le courage de dire non le premier? Ensuite on peut espérer la boule de neige
Merci +++
Nous sommes tous d’accord pour que l’autre commence…..
Il faut savoir que le Facteur d’impact impressionne jusqu’au conseil scientifique de CNRS dont le fonctionnement n’est pas du tout exemplaire… Et puis hors de ces évaluations avec des critères comme le facteur d’impact les croyances les plus délétères régnent ainsi que les magouilles entre laboratoire qui ont des élus. Le syndicalisme revendicatif est réduit à peau de chagrin par le système et des élus syndicaux qui se défroquent dès que rentrés en séances… Il y a aussi des mots clefs qui impressionnent et occupent le temps des sessions, comme « big data » « screening » « modèles » etc… et dont la compréhension faible ne peut permettre d’aboutir à une critique approfondie. Ainsi va la Science… et la pénurie de jeune chercheurs aussi. Amen!
J’ai coordonné la constitution de la liste Sorbonne Université Médecine de revues présumées « honorables » et ne conteste pas son caractère imparfait. La démarche pour la constituer n’a pas été fondée exclusivement sur les impact factors des revues. On a demandé à plus de 50 disciplines de lister les revues considérées par leurs membres (2 coordinateurs par discipline) comme des revues non suspectes d’être prédatrices et acceptables pour y publier. Il leur a été recommandé de consulter des sites de référence (notamment https://thinkchecksubmit.org/journals/ et https://doaj.org/) et de se méfier des publishers notoirement connus pour leur « agressivité » éditoriale (je ne cite pas de nom pour éviter les procès mais Hervé Maisonneuve a eu plus de courage).
La liste finale de chaque discipline a été revue par un petit groupe d’enseignants-chercheurs de SU-Médecine et elle a été modifiée après réception, sur l’adresse mail indiquée sur la page Web, de commentaires venant de l’extérieur (en suppression ou en rajout de revues). Des modifications n’ont été apportées que si un argumentaire détaillé était joint à la demande d’ajout ou de retrait d’une revue.
Cette liste est certainement imparfaite mais elle constitue une initiative positive et concrète visant à cibler des revues « acceptables » (et il y en a parmi les publishers douteux). Les dérives dénoncées dans ce blog sont tout à fait justes mais aucune recommandation opérationnelle et concrète pour les surmonter n’existe. Un critère de jugement fondé sur la qualité du reviewing serait excellent mais un tel critère reste à créer … et serait probablement rapidement dévoyé. La déclaration de DORA (https://sfdora.org/read/read-the-declaration-french/) est excellente sur ses principes mais n’est pas encore opérationnelle. En attendant, il faut continuer d’apprendre à lire de manière critique tous les articles (et les « grandes » revues en publient régulièrement de très médiocres).
Merci pour ces précisions, et ce sont des listes très difficiles à faire : gros travail BRAVO. J’adhère à ces commentaires, c’est certain. Il faudrait que les Sociétés savantes reprennent le pouvoir sur les revues, mais c’est presque impossible maintenant.
DORA a été signé par de nombreuses institutions, mais n’est pas appliqué !!
J’ai encore eu des témoignages sur le peer-review fait très vite par des revues de Frontiers, peer-review fait par des volontaires du comité de rédaction sans faire appel à des relecteurs compétents du domaine : le peer-review est effectivement vite fait… mais quand on connait, des grosses lacunes n’ont pas été identifiées… Je peux citer en privé.
Mon billet de mardi 6 septembre concernera la démission d’un rédacteur en chef d’une revue mercantile.