Suite au billet du 19 août 2019 « Quatre croyances erronées qui font obstacle à des recherches plus fiables« , j’ai proposé d’analyser ce livre de Richard Harris, journaliste scientifique qui vit à Washington. Ce livre revient sur des histoires connues, en ajoutant la touche du journaliste d’investigation qui raconte les coulisses de certaines publications.
Le chapitre 1 revient sur l’histoire de l’article de C Glenn Begley dans Nature en mars 2012.
CG Begley est un chercheur australien connu qui a quitté l’université pour rejoindre la firme Amgen en Californie. Il a publié dans un article qui a fait peur sur des expériences pré-cliniques. J’utilise parfois cet article qui explique les difficultés rencontrées pour reproduire des expériences publiées dans des revues prestigieuses. Avant de quitter Amgen, Begley a repris 53 dossiers de reproduction d’expériences, en général en collaboration avec les chercheurs qui avaient publié à l’origine : seules 6 expériences ont été reproduites (11 %). Il a été poussé par le conseil d’administration d’Amgen. Il a cosigné avec un chercheur académique, et il pensait que son travail serait reconnu. En fait, il a été très critiqué, en public lors de congrès, par des universitaires. Mais au bar de l’hôtel, les langues se déliaient… et l’histoire était différente ! Presque dans le même temps des données similaires ont été publiées par des chercheurs de Bayer : ils reproduisaient 25 % des publications. Le problème de Begley est que toutes ces réplications ont été faites avec des accords de secret, et il ne peut pas révéler les noms des chercheurs ayant publié les recherches non reproductibles…. Ce qui est troublant, c’est que le nombre de citations des articles non reproductibles était élevé.
La crise de reproductibilité de la science a commencé ainsi, bien que l’article de JPA Ioannidis (Why most published research findings are false) ait été publié en 2005.
L’écosystème dans lequel les chercheurs travaillent a créé les conditions pour ces échecs. Begley explique qu’une des études non reproduite a été citée plus de 2000 fois, prouvant bien que les chercheurs ne vérifient pas les données qu’ils utilisent ! Il y a peu de financement et pas de ressources pour vérifier des données. Des enquêtes ont montré que les chercheurs savent que reproduire est presque impossible.
Begley a proposé six principes pour un chercheur :
- Quand des expériences sont faites en aveugle : qu’est-ce que les chercheurs savent quand ils travaillent ? Quels sont les animaux dans le groupe testé, dans le groupe contrôle ?
- Est-ce que les expériences de base ont été refaites ?
- Est-ce que tous les résultats ont été exposés ? Parfois les chercheurs choisissent les meilleures données, et oublient des résultats gênants.
- Y avait-il des contrôles positifs et négatifs ?
- Est-ce que les chercheurs sont sûrs de la qualité des ingrédients ?
- Est-ce que les statistiques étaient appropriées ?
Le chapitre donne d’autres exemples montrant que quand des chercheurs ont des projets, même si une publication montre que rien ne peut marcher, ils continuent leurs projets sans se poser de questions…
Les 10 chapitres ont pour titre :
- La bombe de Begley (billet du 6 septembre 2019)
- C’est dur, même dans les bons jours (billet du 13 septembre 2019)
- Un seau d’eau froide (billet du 20 septembre 2019)
- Trompé par des souris (billet du 27 septembre 2019)
- Croire l’incroyable (billet du 4 octobre 2019)
- Sauter aux conclusions (billet du 11 octobre 2019)
- Montrez vos données (billet du 18 octobre 2019)
- Une culture cassée (billet du 28 octobre 2019)
- Le challenge de la médecine de précision (billet du 8 novembre 2019)
- La recherche sur la recherche (billet du 15 novembre 2019)
