Recherche : augmenter la valeur et réduire le gaspillage 2. Problématiques liées à la méthodologie, au management et à l’analyse des recherches.

C'est le second article de cette série de 5 articles du Lancet. Le 2^ème article de la série du Lancet s’intéresse aux gaspillages de la recherche dus aux mauvaises méthodes, aux mauvais monitoring et aux mauvaises analyses des données. Le premier auteur est JP Ioannidis. Les 101 références sont très bien choisies, et vous connaissez la plupart de ces travaux. Ils proposent encore des recommandations, avec chaque fois des indicateurs à mettre en place. L’article commence par quelques exemples, comme les 25 à 38 % de valeurs de p qui ne correspondent pas au test employé, comme la non reproductibilité des expériences par Amgen et Bayer (voir ci-dessous). L’article comprend :

• Le ratio biais/effet : trop d’effets observés sont minimes et donc difficiles à distinguer de biais (parfois cachés) ; il existe des recommandations dans tous les domaines pour diminuer ce problème ;
• Le développement de protocoles et l’amélioration de la méthodologie ; les problèmes : 1) mauvais protocoles et mauvaises méthodes ; 2) peu d’utilité des informations produites ; 3) puissance statistique et mauvaises conceptions du résultat, avec la problématique du p < 0,05 à l’origine de tous les maux ; 4) mauvaise prise en compte des données existantes ; 5) définitions subjectives, non standardisées, et ‘vibration’ des effets (variation des résultats créée par l’analyse) ; comment améliorer : avoir toujours un protocole ; un passage est consacré aux protocoles des revues systématiques et à PROSPERO ; utiliser l’information, la précision, la puissance et les résultats ; prendre en considération les preuves ; standardiser nos efforts, en ayant des indicateurs communs, ce que certaines spécialités font un peu ;
• La main d’œuvre de recherche et les parties prenantes : il faut plus de statisticiens et de méthodologistes bien formés à tous les niveaux de la recherche ; il faut contrôler et diminuer tous les conflits d’intérêt des parties prenantes ;
• La reproductibilité et la reconnaissance de la recherche : je ne vous commente pas mais refaire ce qui est publié est difficile, et le système de valorisation basé sur la quantité plus que la qualité pose problème.

Il y a beaucoup de recommandations, par exemple imposer les recommandations ‘ARRIVE’ pour la recherche animale, et ces recos sont claires :

1. Rendre public les protocoles complets, avec les plans d'analyse ou la séquence des choix analytiques, et les données sources pour toutes les recherches biomédicales entreprises. Le monitoring consisterait à la surveillance de la proportion d'études publiées dont le protocole était disponible publiquement (idéalement pré-enregistré), ainsi que les plans d'analyse, que la proportion de données sources et d'algorithmes d'analyses publiquement disponibles dans les 6 mois après la publication des rapports d'études.
2. Maximiser le rapport effet/biais dans la recherche à travers la conception et la conduite des standards défendables, une main-d'œuvre de recherche bien formée en méthodologie, avec un développement professionnel continu, et une implication des parties prenantes non-conflictuelles. Le monitoring consiste en l'évaluation des publications sans conflits d'intérêts, comme l'attestent les déclarations de déclaration et ensuite vérifiée par les examinateurs; la proportion de publications, avec la participation de scientifiques qui sont méthodologiquement bien qualifiés est également importante, mais difficile à documenter.
3. Récompenser (avec un financement ou une reconnaissance académique ou autre) les pratiques reproductibles, la recherche reproductible, et faciliter une culture efficace pour la réproductibilité de la recherche. Le monitoring serait la proportion des études de recherche ayant été refaites avec rigueur et indépendance, des vérifications de reproductibilité, avec la proportion des recherches refaites et répliquées. Nous avons analysé des données d'Amgen, Bayer, reprises dans cet article.

Tout ceci est difficile pour être bien traduit, et la lecture attentive de ces articles est passionante.

Une mauvaise traduction du résumé : "Des faiblesses que l’on pourrait corriger dans la conception, la conduite et l'analyse des études de recherche biomédicale et en santé publique peuvent produire des résultats trompeurs et gaspiller des ressources précieuses. De petits effets peuvent être difficiles à distinguer de biais générés par la conception et les analyses des études. L'absence de protocoles écrits détaillés et une documentation insuffisante des données de recherche sont fréquentes. L'information obtenue peut-être inutile ou sans importance, et la précision statistique ou la puissance sont souvent trop faibles ou utilisés de manière trompeuse. Une considération insuffisante pourrait être observée à la fois pour les études précédentes et en cours. Le choix arbitraire des analyses et une surenchère sur les extrêmes aléatoires pourrait affecter les découvertes obtenues. Plusieurs problèmes sont liés à la main-d'œuvre de la recherche, par exemple l’absence de statisticiens et méthodologistes expérimentés, l'échec de former des chercheurs cliniciens et des chercheurs de laboratoire dans les méthodes de recherche et de conception des études, et la participation de parties prenantes avec des conflits d'intérêts. L'accent est mal mis sur l’enregistrement des décisions de la recherche décisions et sur ​​la reproductibilité de la recherche. Enfin, les systèmes de récompense incitent plutôt à la quantité qu’a la qualité, et plutôt la nouveauté que la fiabilité. Nous proposons des solutions possibles à ces problèmes, y compris des améliorations dans les protocoles et la documentation, la prise en compte des preuves obtenues par les études en cours, la standardisation des efforts de recherche, l'optimisation et la formation d’une main-d'œuvre scientifique expérimentée et sans conflits d’intérêts, ainsi qu’une reconsidération du système de récompense de la recherche."