Cet avis du Comité Evaluation et science ouverte (CoÉSO) de l’Académie des sciences sur le score SIGAPS est bienvenu car il dénonce des pratiques mafieuses : le score SIGAPS est mal utilisé pour allouer des ressources aux établissements de santé, et pour évaluer des dossiers de candidats pour des promotions hospitalo-universitaires. Dénoncer des pratiques mafieuses est excellent. Résumons cet avis en reprenant des extraits (mis en italiques) :
Analyse :
- le score SIGAPS favorise ainsi objectivement la multiplication d’articles de recherche de faible niveau ou encourage à « saucissonner » la publication de travaux ; bien d’accord, on le sais depuis 20 ans, notamment avec le facteur d’impact des journaux ;
- l’absence d’informations sur les modalités de redistribution, au sein des centres hospitaliers, de la somme allouée sur la base du score SIGAPS obtenu est regrettable ; le CoÉSO est gentil car ce n’est pas regrettable, c’est une manipulation honteuse de l’argent ;
- le score SIGAPS a été détourné de son usage premier pour servir à l’évaluation individuelle de candidats et candidates à des recrutements ou des promotions hospitalo-universitaires. Cette pratique s’écarte des principes fondamentaux de l’évaluation scientifique définis par DORA (Declaration on Research Assessment), signée par plusieurs milliers d’institutions internationales. Je rappelle au CoÉSO que l’Académie des sciences a été parmi les premières organisations dans le monde à s’élever contre l’utilisation du facteur d’impact pour attribuer les ressources et évaluer les candidats. C’était en janvier 2011, donc presque un an avant la signature de DORA. Ce sont 3034 organisations qui ont signé DORA dans le monde et 87 en France. L’Académie a signé DORA le 8 décembre 2011. BRAVO.
Le CoÉSO appelle :
- Les responsables universitaires (présidents d’université, doyens de faculté, présidents de CNU, etc.) à renoncer à l’utilisation du score SIGAPS pour évaluer les dossiers des candidats et candidates à des recrutements ou des promotions hospitalo-universitaires au profit de leur évaluation qualitative ; cela s’appelle pisser dans un violon car 13 ans après le rapport de l’Académie des sciences, il n’y a pas eu réellement de changements ; faut-il aussi s’adresser aux ronds de cuir du ministère pour SIGAPS ;
- à une modification de la méthode de calcul du score SIGAPS pour privilégier la qualité du contenu des publications. Une solution pourrait provenir de la prise en compte de l’impact effectif de chaque article (citations ultérieures dans la littérature scientifique) dans le calcul du score ; c’est une blague je suppose ? L’AP-HM bénéficierait de beaucoup d’argent. Par exemple les articles fraudés de l’IHU Méditérannée Infection sont très cités ; l’article Gautret et al a été cité près de 6 500 fois ! C’est énorme, est-ce qu’un académicien a fait mieux ?
- à une mise en place de comités scientifiques des CHU pour s’occuper de tout cela : on augmente le mille feuille ;
- à une concertation de toutes les parties prenantes de ce dispositif afin de réexaminer les modalités d’évaluation et de financement de la recherche effectuée dans les centres hospitaliers ainsi que les modalités individuelles d’évaluation. EXCELLENT si ce n’est pas confié à l’Académie.
L’annexe 1 explique les modalités de calcul du score SIGAPS avec une grosse erreur en expliquant que la qualité d’un journal est définie en fonction des facteurs d’impact : FAUX et FAUX, il s’agit de la notoriété et pas de la qualité…. Nuance nuance !!!! Le calcul n’est pas facile à comprendre, contrairement au début de la mise en oeuvre de SIGAPS… il faut considérer le score fractionnaire et d’autres équations accessibles aux énarques seulement.
Cet avis est un résumé des positions de janvier 2011 et une reprise du communiqué d’octobre 2022. Cet avis utile aurait mérité un peu de travail et de relectures.
2 commentaires
Le sigaps fait partie des éléments d’évaluation de la recherche clinique hospitalière par le ministère de la santé. Ceci concerne
Le futur: financement des projets de recherche, phrc entre autres qui s’accompagne d’un soutien aux DRCi
Le présent (la recherche en cours) par le sigrec qui compte les inclusions dans les essais et aide au monitorage et à la qualité.
Le passé: Le sigaps mesure la recherche passée, sa mise à disposition du public par des publications dans des revues référencées de qualité variable. Le sigaps compense le CHU du temps médical de la recherche non facturable par la T2A.
Les trois fournissent des indicateurs et des financements complémentaires aux hôpitaux. Comment ces financements sont utilisés relève de chaque chu et des sa gestion propre des merri.
L’utilisation abusive de tel ou tel indicateur bibliométrique relève de chaque utilisateur. Les universités et l’inserm à ma connaissance n’utilisent pas le sigaps.
L’apprėciation de la valeur de candidats hu sur entre autres le sigaps n’est ni mieux ni pire que le système historique de la recommendation patronale. Le comptage des citations ne vaut que pour la comparaison à l’intérieur d’une discipline ou d’une sous discipline. Un papier ayant 30 citations dans un domaine pointu avec 300 chercheurs actifs est-il moins bon qu’un papier avec 3000 citations dans un domaine ayant 300000 citants potentiels?
Problème complexe sans solution simple. Ailleurs les chercheurs hu s’autofinancent par les projets de recherche…
Un peu de travail et relecture, c’est le moins qu’on puisse dire.
Au passage, lire cette horrible trivialité « pisser dans un violon » en lieu et place de « souffler dans un violon » (qui ne fait pas de musique, contrairement à la flûte) illustre la pauvreté langagière des rédacteurs d’aujourd’hui.