Je suis émerveillé par l’aveuglement organisationnel de nombreux collègues concernant l’utilisation de SIGAPS, le facteur d’impact à la française, pour faire des carrières et allouer des ressources aux établissements de santé ! Les faits sont contradictoires, et il vaut mieux en rire !
La qualité de la littérature médicale est mauvaise : 50 % est fausse, d’après The Lancet
- Les études négatives sont rarement publiées ; les recherches positives sont publiées plusieurs fois ; la moitié des recherches ne donnent pas lieu à communication des résultats ; et 95 % des 1,5 millions d’articles indexés chaque année dans PubMed ont un P significatif ;
- La moitié des études seraient ‘embellies’ ; les pratiques discutables en recherche sont connues et très fréquentes ;
- La plupart des publications ne sont pas reproductibles ; les données en psychologie ont montré que 39 de 100 publications avaient été reproduites ; ou autre,histoire : un immunologiste n’arrivait pas à refaire une manip publiée dans une revue prestigieuse, et il appelle l’auteur qui lui dit ‘c’est normal, nous l’avons faite 15 fois et elle n’a marché qu’une seule fois !
Cette littérature sert à nommer nos maîtres ! Des conseillers ministériels ont inventé qu’il fallait 200 points SIGAPS pour nommer un MCU, et 400 points pour nommer un PU ! Sur quelles preuves ? Sur quelles données ? C'est n’importe quoi ! Oui, publier est important, mais faire de la qualité plutôt que de la quantité est encore plus important…
- Nommer les chercheurs qui bricolent le plus les publications serait une trouvaille adoptée allègrement par des sections du CNU (Conseil National des Universités) ; gaspiller la recherche pour être promu !
-
- A titre indicatif, en 2014, les candidats MCU-PH, toutes disciplines confondues, avaient un score SIGAPS habituellement supérieur ou égal à 200 (le score SIGAPS est indicatif mais ne peut pas être retenu à lui seul).
- A titre indicatif, en 2014, les candidats PU-PH, toutes disciplines confondues, avaient un score SIGAPS habituellement supérieur ou égal à 400 (le score SIGAPS est indicatif mais ne peut pas être retenu à lui seul).
Messieurs les décideurs, vous allez ensuite vous faire piéger par les Almetrics. Vous allez croire que c’est mieux que le facteur d’impact ou SIGAPS, car au lieu d’évaluer la notoriété d’une revue, ils évaluent la notoriété d’un article. D’urgence allez lire DORA et/ou le manifeste de Leiden et récompensez ceux qui travaillent plutôt que ceux qui embellissent des articles… Partager les données, reproduire la science, enseigner, transmettre, promouvoir l’intégrité, publier peu d’articles d’études de qualité, voire d’études négatives, sont des activités à valoriser et certains pays avancent dans ce domaine….
PS : SIGAPS est un bon outil bibliométrique, bien fait, utile, mais quand il sert à allouer des ressources, il y a 'sortie de route' et ‘pousse au crime’…. Mais c'est vrai qu'embellir ou inventer des données n’est pas un crime !
6 commentaires
la dictature du chiffre dans toute sa splendeur….. simple à calculer, simple à comprendre, simple à utiliser… mais faux !
évaluation qualitative: longue, couteuse, complexe.. juste…
le choix est rapidement fait dans nos sociétés
je m’appelle Stéfan Darmoni
je suis professeur d’informatique médicale au CHU de Rouen
j’ai publié plusieurs travaux bibliométriques sur SIGAPS, qui comme le dit le Dr. Hervé Maisonneuve, est un bon indicateur bibliométrique à l’échelle d’une discipline ou d’un hôpital, mais bcp moins à l’échelle individuelle.
au total, l’attitude du tout quantitatif où on résume la recherche d’un individu à un score est une folie douce et je pèse mes mots
il faut impérativement revenir à la lecture des 5 meilleurs papiers choisis par le chercheur pour un MCUPH et les 10 meilleurs pour un PUPH
ça prend un peu plus de temps… mais les résultats sont plus qualitatifs et a priori fournissent de plus grands enseignements sur le chercheur
SJD
Je m’appelle Stephane Oustric.
Je suis Medecin Generaliste, professeur des universités et récemment élu par mes pairs à la nouvelle sous section de MG du CNU (53-03).
Je suis particulièrement heureux de cette note d’Herve. Merci Herve de nous maintenir éveillé !!!
En effet notre spécialité clinique orienté vers les soins primaires et ambulatoire, ne se retrouve pas pleinement (…) dans ce facteur d’impact.
Notre collègue de Rouen à admirablement résumé cela. Merci de ses propositions.
Nous travaillons et réfléchissons actuellement sur DORA et autres éléments bibliometriques, dans l’attente surtout de la position des experts MG de notre collège académique et scientifique le CNGE.
Continuez à éveiller nos consciences et nos responsabilités collectives.
Je suis bien d’accord avec tout cela mais je modérerai tout de même pour une raison : quand on veut être nommé PU (encore plus vrai pour MCU), on est jeune, et on n’est pas sensé avoir déjà eu l’occasion de faire de la « belle » recherche, celle dont vous parlez, celle qui n’appartient pas au 50% voire 90% qui serait fausse. C’est après la nomination je pense qu’il faut surtout être vigilant.
Demander des minimas (entre autres pré-requis) pour être nommé ne parait pas aberrant : il faut prouver qu’on a su faire et faire publier de la recherche, même de qualité médiocre. Comment peut on emmener une équipe, et prétendre faire ce qu’il faudrait si on n’est pas capable de faire et faire publier des études préliminaires, des enquêtes, des petites études qui permettent ensuite de trouver des arguments (et des crédits!) pour faire de la belle recherche.
Soyons logique, un médecin qui veut être nommé à 35 ans n’a pas eu le temps ni l’occasion de guérir le cancer. Mais que penser de celui qui n’a pas réussi même à publier de « petits papiers » ou autre recherche de qualité médiocre?
Ces indicateurs permettent de prouver qu’on a compris comment la recherche et la publication marchent – à défaut de montrer qu’on est un bon chercheur.
N’oubliez pas que ces minimas SIGAPS ne sont qu’une petite partie de ce qui est demandé par les CNU pour la nomination!
Si les nominations se décidaient plus par SIGAPS et moins par népotisme/copinage/politique, ça ne serait pas si pire non?
Nicholas moore, bordeaux
Bien sur d’accord avec stefan.
Cela etant dans notre CNU il est depuis longtemps demandé pour etre mcu 3 publis internationales en premier et pour puph 8 publications en premier ou en dernier (ce qui promeut les publis des eleves et thésards) je ne sais lequel est mieux. On regarde surtout le reste: intégration dans une équipe (h et u) enseignement (y compris ou surtout sur un sujet tiré au hasard et hors de la spécialité de l’impétrant). C’est cette question qui souvent fait la différence. En plus on a en règle générale vu les candidats à plusieurs reprises en pré-CNU. Donc s’il est indispensable de publier bien (on a réformé le sigaps pour favoriser les bonnes revues dans les disciplines) cela n’est pas et de loin le seul critère! Les universitaires sont cons, surement mais quand mrme pas à ce point là, et on a une responsabilité pour l’avenir de notre discipline qui passe par la qualité de ceux qu’on nomme. Bien sur dans la pénurie actuelle on n’a parfois pas le choix, mais l’anticipation très en amont est utile
Amitiés
N
La propriété intrinsèque d’un score est de provoquer chez le technocrate une tentation irrésistible de l’employer comme une règle : trier puis couper tout ce qui dépasse. C’est tellement plus facile que se prendre la tête à étudier tous les éléments, et de plus ça a l’air du « scientifique » ! La bibliométrie nous en offre des nombreux exemples : facteur d’impact, Hirsch-index, voici le tour du score SIGAPS… Beaucoup d’encre a coulé pour mettre en garde contre l’utilisation des indicateurs bibliométriques au pour l’évaluation individuelle des chercheurs mais, malgré les avertissements de l’Académie de sciences et de l’Académie de médecine, le détournement du score SIGAPS est désormais institutionnalisé et les médecins se rangent docilement en file pour ce lit de Procruste en acceptant de réduire la valeur scientifique de leur travaux à un score…