En avril 2015, nous avons évoqué l'éditorial du Lancet disant qu'un groupe d'experts anglais pensait qu'au moins 50 % de la littérature biomédicale était fausse ! Il y a beaucoup de données factuelles pour supporter cette évidence ; certaines données ont été discutées lors de la conférence sur le gaspillage de la recherche fin septembre 2015.
Note du 7 janvier : le commentaire ci-dessous est excellent et je suis bien d'accord (à la nuance près que certains anglais évoluent plus vite que les français pour s'éloigner de la bibliométrie).
Le rapport de la réunion anglaise a été publié et il mérite lecture approfondie : il y avait 80 experts d'horizons très divers, pendant 1,5 jours, réunis à Londres sous l'égide de "The Academy of Medical Sciences ; Wellcome Trust ; Medical Research Council (MRC) ; Biotechnology and Biological Sciences Research Council (BBSRC)". Les objectifs : explorer les challenges et opportunités pour améliorer la reproductibilité et la fiabilité de la recherche biomédicale au Royaume-Uni.
Le résultat : un rapport de 80 pages (l'image ci-dessus est un poster résumant le rapport) détaillant :
les 6 problèmes de la science : 1) Le ‘dragage’ des données (P-HACKing, Recherche d’alternatives pour devenir ‘significatif’) ; 2) L’omission des résultats ‘négatifs’ (Chercheurs et rédacteurs ne publient que des études ‘positives’) ; 3) Études de puissance insuffisante ; 4) Les erreurs ; 5) Les méthodes insuffisamment décrites (Ne permettent pas de reproduire le travail) ; 6) Les méthodes expérimentales ‘faibles’ (Un défaut méthodologique ne permet pas d’avoir des résultats valides).
les 7 stratégies pour améliorer le système (chaque stratégie répond à plusieurs problèmes) :
- Ouvrir et partager les données entre chercheurs (Dragage de données, Omission de résultats) ;
- Enregistrer les protocoles d’études avant la recherche (Dragage de données, Omission de résultats, Puissance insuffisante, Méthodes insuffisamment décrites, Méthodes ‘faibles’) ;
- Collaboration (Puissance insuffisante, Méthodes insuffisamment décrites, Méthodes ‘faibles’)
- Automatisation (Méthodes insuffisamment décrites, Erreurs) ;
- Méthodes ouvertes (Méthodes insuffisamment décrites, Méthodes ‘faibles’, Erreurs) ;
- Relecture après publication (Méthodes ‘faibles’, Méthodes insuffisamment décrites) ;
- Lignes directrices pour écrire les articles (Méthodes ‘faibles’, Méthodes insuffisamment décrites, Erreurs).
3 commentaires
Ces recommandations sont parfaites, totalement angéliques et déconnectées de la réalité. Tant qu’on ne s’attaquera pas aux racines du mal on ne résoudra pas le problème. Le vrai problème est le mode d’évaluation des chercheurs et leur mode de recrutement. Les critères INSERM, CNRS, n’engagent pas à la collaboration, aux partages des données. Elles donnent très envie de vivre dans un milieu bien fermé, de tirer un max des datas produites avec des financements limités et de publier des trucs parfois un peu limites. Quand arrive l’heure de l’évaluation de la structure c’est branle bas de combat pour publier. Tant qu’on se fixera comme alpha et omega de l’évaluation la bibliométrie et bien il y aura des problèmes, tan qu’on demandera à des administratifs de classer les gens en fonction de l’IF ou du facteur H ou de je ne sais quoi, toutes ces belles recommandations resteront des vœux pieux.
Ne compter pas sur les institutions pour pousser à changer quoique ce soit, car dans ce joli système où tout est ouvert comment on prend des brevets ? Comment on fait de la valorisation.
J’aime ces rapports qui parlent d’un idéal inaccessible, des formes d’utopie sympathique mais peu réaliste dans la situation actuelle.
Les chercheurs s’adaptent aux contraintes réelles du monde dans lequel ils vivent et ils résistent assez bien par rapport à d’autres professions aux tentations de l’évaluation basée uniquement sur combien tu rapportes.
Ces fantasmes de science totalement ouverte et collaborative sont aussi de formidables machines à stériliser un champ. On vire les outlayers, ceux qui pensent un peu différemment de la doxa.
C’est un peu le même débat que sur les étudiants en médecine, on veut des étudiants qui s’intéressent à la clinique et soient empathique machins trucs, mais on garde un concours de sortie où il n’y a aucune évaluation des compétences cliniques, finalement pourquoi s’embêter avec ça alors.
Les personnes s’adaptent à l’évaluation au détriment de la qualité réelle. Les exemples foisonnent.
Vous voulez éviter la fraude, avoir une science plus clean, moins kleenex, arrêtons le publish or perish et on pourra discuter vraiment, avant ceux sont des voeux pieux. On va à confesse, on fait trois pater et puis ça repart.
Je ne peux que souscrire au commentaire de Stéphane Burtey. Travaillant aussi dans une institution similaire, la structuration et l’organisation même de la recherche pose problème.
La question de comment et pourquoi nous sommes organisés sur ce modèle n’est pas posée comme centrale dans ce rapport.
Le CNRS ou l’INSERM sont-ils des organisations apprenantes ? Cela peut paraître surprenant de poser cette question.
Les découvertes se font-elles grâce au système et à l’organisation, ou bien malgré elle ?
Comment des personnes créatives, qui potentiellement vont faire des découvertes déterminantes peuvent-elles développer leurs idées et leur travail dans des organisations qui ne sont pas adaptées à leur mode de fonctionnement ?
La trajectoire professionnelle de A. Einstein est en ce sens très éclairante sur cette difficulté.
La génération 2.0 qui a intégré dans son mode de fonctionnement et dans ses valeurs le fait que l’intelligence collective est plus forte que l’intelligence individuelle pourra surement apporter des réponses à ces enjeux organisationnels. Mais lesquels ? je n’en sais foutre rien.
Bon… je vais aller faire un pater et deux ave maria !
Je partage également l’analyse de Stéphane Burtey. Plus exactement, je pense qu’elle s’articule avec les analyses et recommandations faites par ce groupe anglais.
Je travaille dans un CHU et on y voit bien la pression qui repose sur les auteurs pour publier toujours plus, toujours plus vite, ce qui ne peut se faire qu’au détriment de la qualité, les journées n’ayant toujours et encore que 24h. Donc, la première partie du problème est l’impact néfaste de la bibliométrie pour évaluer l’activité des chercheurs. Les recommandations faites par le groupe anglais sont en fait la réponse à la seconde partie du problème, c’est à dire comment un auteur pressurisé fait-il pour améliorer son rendement en termes de publication : p-hacking, erreurs, mauvaises méthodes, exploitations par plusieurs tests statistiques d’une seule hypothèse scientifique, jusqu’à trouver la forme des données qui leur fera avouer ce que l’on espérait montrer, etc. Il ne sert pas à grand chose d’améliorer une partie sans améliorer l’autre.
Enfin, un autre problème non évoqué par ce groupe anglais (je n’ai pas encore lu le rapport) : c’est l’utilisation des méthodes statistiques fréquentistes (p-valeur etc) qui devraient être remplacées immédiatement par des méthodes bayésiennes.