C’est une excellente note de 35 pages publiée par nos amis canadiens (M Khelfaoui et Y Gingras) sur les dérives du système SIGAPS. En accès libre sur le site du Centre Interuniversitaire de Recherche sur la Science et la Technologie. Ces dérives sont connues, ont été identifiées par la cour des comptes, mais ignorées des décideurs qui doivent y trouver leur compte. La note est très bien documentée avec d’abord une description de ce système d’allocation d’une enveloppe annuelle d’environ 1 milliards d’euros aux établissements de santé, en fonction du volume des publications (selon la notoriété des revues et pas la qualité des articles). Plutôt que résumer, j’ai noté quelques points :
- Dans les années 1990, l’Australie a eu un système voisin qui a rapidement augmenté le volume des publications de 25 % mais l’impact de ces articles a diminué en nombre, et le système a été abandonné ;
- La courbe des publications montre bien, pour les CHU, une augmentation après 2006 ; des CHU ont au moins doublé leur nombre de publications entre 2000 et 2018 ;
- Une croissance des collaborations des CHU avec d’autres institutions et CHU a augmenté ;
- Comme le nombre d’institutions éligibles à SIGAPS a augmenté, avec le même gâteau, il faut augmenter le volume de publications pour assurer le même niveau de ressources ;
- L’analyse du déplacement des publications vers PLoS ONE qui a un taux d’acceptation des articles de 70 % est intéressante : « Si l’on raisonne dans les termes purement comptables de SIGAPS, il devient plus intéressant pour un chercheur de publier un article dans PLoS ONE, plutôt que dans une revue disciplinaire de même rang, voire même de rang inférieur, mais qui applique des critères de sélectivité plus élevés« .
- Le système SIGAPS a précipité le déclin des revues médicales françaises à caractère national.
- Je rejoins l’analyse de la revue Oncotarget qui a perdu son facteur d’impact : « Elle montre également les limites d’un système qui permet d’octroyer plus de 60 000 euros à une institution, pour la «récompenser» d’une publication dans une revue de qualité douteuse. »
- Ensuite, bonnes explications, avec des exemples, des fluctuations du facteur d’impact ;
- SIGAPS a contribué à la baisse de la langue française dans les publications.
- Une étude des publications de l’équipe Raoult dans un de leurs bulletins paroissiaux (en l’occurence NMNI, voir page 21) estime que la publication de 77 articles en 2017 a permis une allocations de 800 000 €…. équivalent à la publication de 10 articles dans des revues prestigieuses !
- Il y a quelques exemples de cette compétition SIGAPS entre CHU, pour nommer des professeurs, etc… un exemple : Autre exemple de compétition induite entre institutions, une revue interne du CHU de Nantes notait en 2014 que : « pour rejoindre le score du CHU de Toulouse, il faudrait augmenter le nombre de publications de plus d’une centaine d’articles par an et augmenter également le taux de publications de rang A »
Plutôt que de pointer des dérives individuelles, il vaudrait mieux se poser des questions sur le système…
9 commentaires
Comme tous les systèmes d’évaluation quantitative de la recherche (impact factor, facteur H et autres), SIGAPS a ses perversions et il est bon de les connaître et de les dénoncer. Seule une évaluation qualitative a de la valeur, mais elle nécessite beaucoup de temps (et de compétence) pour les membres du CNU et des comités scientifiques divers. Alors, on additionne des pommes et des oranges pour parvenir à un chiffre. Comme disait Knock à sa patiente soucieuse de savoir ce que coûterait son traitement : « Ça vous coûtera trois cochons et un veau ».
En outre, l’argent ainsi versé va directement dans le budget hospitalier et, à ma connaissance, n’est que rarement redistribué, pour financer leurs recherches, aux équipes qui publient. C’est pour ça que je ne mentionne plus mon affiliation hospitalière pour les travaux réalisés dans l’unité INSERM et l’université auxquelles j’appartiens.
En effet, il est de bon sens que à force de mesurer, on finit par croire qu’on mesure quelque chose…
Trois lois l’ont bien souligné :
Loi de Charles Goodhart : « Lorsqu’un indicateur est choisi pour guider une politique économique, il perd du même coup la valeur informative qui l’avait qualifié pour remplir cette fonction. »
Loi de Donald Campbell : « Plus un indicateur quantitatif est utilisé pour prendre des décisions, plus il va être manipulé et plus son usage va aboutir à corrompre le processus qu’il était sensé améliorer. »
Loi de Marilyn Strathern : « Quand une mesure devient une cible, elle cesse d’être une bonne mesure. »
A la perversion du système SIGAPS qui transforme en quantité ce qui devrait être de la qualité, il y a la bizarrerie du financement associé à ces publications : le financement généré par les points SIGAPS vient « en compensation d’une perte d’exploitation ». En français clair : pendant qu’on fait de la recherche, on ne fait pas de soins, donc pas de T2A, donc pas de rendement. Donc, au lieu de financer la recherche directement, on compense un défaut de financement. C’est tout de même particulièrement étrange comme concept.
Il faut supprimer tout cela, financer la recherche médicale directement pour ce qu’elle fait.
Ensuite, si on veut sélectionner de bons médecins chercheurs, il faut que les CNU lisent les articles publiés, qui doivent être de qualité, et pas fabriqué en quantité. On pourrait dire qu’un candidat serait jugé, par exemple, sur ces 5 meilleures publications. Cela laisse le temps de les lire et le candidat ferait alors 5 à 10 publications pour pouvoir faire une première sélection à présenter à un jury. Cela éviterait aussi de torturer les données pour qu’elles avouent des choses qu’elles n’ont jamais commises et en cela, les chercheurs sont bien aidés par les p-valeurs et toutes leurs déviations qui permettent de ne faire que des publis avec effets significatifs, ce qui est évidemment improbable. Quand donc valorisera-t-on à part égale les résultat négatifs comme les résultats positifs ?
Aucun français n’aurait « osé » faire ce travail d’évaluation ? heureusement que des canadiens se sont intéressés à ce sujet ! Auraient-il peur que de telles méthodes se développent chez eux ? (« méthodes d’évaluation basées sur des critères comptables supposément objectifs »).
Bravo pour votre relai de cette information importante. Bien amicalement
Toujours une question compliquée. Pour passer du temps à relire et commenter des articles, et par ailleurs chercher des lectrurs pour des revues, je sais ce que cels représente comme temps. Donc reviewer systématiquement tous les articles de tous les chercheurs d’un chu, ou de tous les chu c’est y consacrer un temps consudérable d’experts qui pendant ce temps ne font ni soins ni recherche. Le prix en serait exorbitant, pour répéter un travail qui a en principe déjà été fait par les reviewers des revues concernées. Et pas nécéssairement mieux…
Peut-être évoluer vers les revues ouvertes, avec mise à disposition des avis des reviewers (mais en général sur une version précoce). Ou limiter cette évaluation à la revue hceres des unités de recherche et chu?
Ou effectivement les 5 ou 10 préférées…
Cela étant publier dans des revues obscures locorégionales est une perte de temps. Personne n’y aura accès ni ne la lira, dans une science à diffusion mondiale, la langue véhiculaire, autrefois latin ou français est devenue le globish, ou le medglish. Mais c’est en amont qu’il faut travailler sur la qualité du projet de recherche et de sa publication.
Finalement la recherche est financée avant (PHRC), pendant (sigrec) et après (sigaps) sa réalisation. Sigaps et sigrec servent à payer les salaires des médecins hospitaliers qui pendant ce temps ne génèrent pas de revenus pour leur établissement.
Pour ce qui me concerne n’ayant pas fait de T2A depuis 30 ans, sans sigaps je serais une perte sèche pour le chu et probablement mon service depuis longtemps liquidé…
Ah et ne pas marquer son affiliation chu est inutile pour sigaps qui cherche directement medline sur le nom.
Et si vous refusez votre appartenance au chu, je présume que vous refusez également le salaire qu’il vous paye?
Bonjour
Il y avait bien SAMPRA qui avait un intérêt certain mais on ne voit pas sa diffusion arriver ou même challenger sigaps. Ce qui est bien avec SAMPRA c’était de ne pas rester que sur les extractions pubmed. Notamment pour les autres disciplines de la santé.
https://lillometrics.univ-lille.fr/sampra/
Bien cordialement,
Et sans le sigaps, il faudrait que les salaires des hu soient pris sur les contrats de recherche, comme partout ailleurs dans le monde. On ne se rend pas compte de la chance qu’on en france.
D’un autre coté cela permettrait aussi de se rendre compte du vrai coût de la recherche.