C’est une opinion simple en deux pages dans le British Journal of Medicine, le 17 août 2023. C’est la synthèse d’une présentation de mai 2023 par Ivan Oransky à l’université de Stanford. Combien vaut une citation ? Trois, six ou 100 000 US $ ? Les trois chiffres sont faux, mais tout dépend de l’évaluateur.
Publications et citations biaisées pour évaluer la science !
Selon les indicateurs, les publications et les citations représentent de 20 à 60 % dans le calcul. Ces indicateurs sont utilisés par des agences, des gouvernements pour attribuer des ressources, par des jurys pour la promotion de carrières ! Quelle idée, car ces indicateurs peuvent être facilement manipulés…. Tous les trucs pour manipuler sont connus, y compris les paper mills.
Tous les acteurs ne veulent pas des rétractations qui nuisent aux calculs, aux carrières… et les journaux ne veulent pas se retrouver au tribunal. Donc les rétractations sont lentes, opaques et sans consistance quand elles surviennent. Un rapport anglais d’un comité scientifique de la chambre des Communes a recommandé que les rétractations soient faites dans les deux mois après la publication !!!!
Les éditeurs, les institutions et les chercheurs sont pris dans une boucle infernale : « Following the money ». Les éditeurs répondent aux demandes en créant un nombre astronomique de numéros spéciaux, les paper mills ciblent ces numéros spéciaux.
Aucune solution sans changer les mesures incitatives
Les propos d’Ivan sont sévères et réalistes : il n’y aura pas de solutions sans changer les mesures incitatives. C’est simple, il faut diminuer l’importance des citations dans ces indicateurs… C’est facile à dire… Pourquoi ne pas récompenser des comportements comme le partage des données et les corrections de la littérature. Comme proposé par le Research Excellence Framework en Angleterre, les citations devraient représenter 10 % dans le poids d’un indicateur !!!
En bref, il vaudrait mieux récompenser les comportements vertueux des chercheurs plutôt que les manipulateurs des facteurs d’impact… bien que DORA, Leiden et autres recommandations aient été signées, rares sont les signataires qui les mettent en œuvre. ETONNANT, tous bien d’accord mais qui fera le premier pas ?
‘Il faut rendre la science plus rigoureuse‘ est le message de R Lévy dans Nature reviews physics.
Ce court article contient 34 citations bien sélectionnées.
