Suite au billet du 19 août 2019 "Quatre croyances erronées qui font obstacle à des recherches plus fiables", j'ai proposé d'analyser ce livre de Richard Harris, journaliste scientifique qui vit à Washington.
Le chapitre 6 illustre par des exemples l'ignorance des bonnes pratiques statistiques et décrit les problèmes liés au seuil de 0,05 en refaisant l'histoire des tests de façons à l'expliquer au grand public.
Il commence le chapitre par un des exemples de découverte de tests pour des diagnostics précoces du cancer, avec des articles toujours dans la littérature. Il commence par une phrase classique : "Researchers at the FDA and NIH trumpeted a new test they'd developed to detect ovarian cancer….". Des chercheurs n'ont pas reproduit ces données, car c'était un problème de bruit de fond de la machine effectuant le test… mais le OvaCheck blood test a été commercialisé par Correlogic Systems… et il a été difficile de le faire arrêter…
Il cite ensuite des problèmes en génétique, dont une publication (Nature Genetics) montrant des différences ente asiatiques et caucasiens… trompettes encore… mais en fait les auteurs avaient comparé des échantillons acquis à deux ans d'écart, les uns pour les asiatiques, les autres pour les caucasiens.. expliquant les différences observées…. Beaucoup de critiques ensuite sur les -omics worlds… et ces big data en génétique qui trouvent des corrélations par chance… ce qui fait que les descriptions des gênes de l'obésité, de la dépression, de la schizophrénie, des maladies cardiaques sont nombreuses… C'est le business des faux positifs ! D'ailleurs la plupart de ces études viennent de Chine !
Ensuite, des exemples sur le mauvais emploi des statistiques, sur le seuil 0,05. Il termine son chapitre par la description du p-hacking en 2011 et ensuite la description du p-harking. Il cite de bonnes références : pour le p-hacking, l'article de Simonsohn en 2011 dans Psychological Science : "False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant" avec 6 recommandations pour les auteurs ; pour le p-harking (Hypothezing after results are known), c'est l'article de N Kerr dans Personality and Social Psychology Review de 1998 qui mérite lecture "HARKing: Hypothesizing After the Results are Known" (cité plus de 1000 fois). Ces deux articles sont en accès libre.
J'ai plusieurs billets sur ces problématiques concernant les statistiques, dont ceux proposant de remplacer 0,05 par 0,005 pour la valeur de p.
Il termine sur de tristes histoires du Vioxx et de l'anticancéreux Truvada.
Les 10 chapitres ont pour titre :
- La bombe de Begley (billet du 6 septembre 2019)
- C’est dur, même dans les bons jours (billet du 13 septembre 2019)
- Un seau d’eau froide (billet du 20 septembre 2019)
- Trompé par des souris (billet du 27 septembre 2019)
- Croire l’incroyable (billet du 4 octobre 2019)
- Sauter aux conclusions (billet du 11 octobre 2019)
- Montrez vos données (billet du 18 octobre 2019)
- Une culture cassée (billet du 28 octobre 2019)
- Le challenge de la médecine de précision (billet du 8 novembre 2019)
- La recherche sur la recherche (billet du 15 novembre 2019)
