Il n’ s’agit pas de bannir les valeurs de P des articles, mais de devenir un peu plus raisonnable. Il faut abandonner cette frontière de 0,05. En quelques jours 800 chercheurs de 50 pays ont signé une sorte de ‘pétition’, dont des chercheurs français (vous l’annexe de l’article). Nous avons souvent abordé la problématique des très mauvaises statistiques dans les articles. ENFIN, une mobilisation de grande ampleur !
Il s’agit d’un commentaire de Nature du 20 mars 2019 que je vous suggère de lire tranquillement car il est bien fait, avec des exemples. Le titre est clair : « Scientists rise up against statistical significance ». Un éditorial accompagne avec ce titre : « It’s time to talk about ditching statistical significance »
Un débat assez chaud entre divers experts suit cet article… Est-il judicieux de vouloir changer des pratiques par des pétitions ? Et dans The American Statistician, un éditorial du même jour « Moving to a World Beyond “p < 0.05” (le pdf fait 20 pages). Cet éditorial annonce un numéro spécial de la revue (supplément 1 du volume 73 de 2019… mais je ne me sens pas d’humeur à lire 401 pages en anglais). Avec une interview d’une représentante de l’Americam Statistical Association sur RetractionWatch.
Je reproduis les deux illustrations de cet éditorial (en remerciant Nature), et j’ai traduit (au mieux..) un paragraphe du début et un paragraphe de la fin du commentaire du 20 mars :
- Soyons clairs sur ce qu’il faut arrêter : nous ne devons jamais conclure qu’il n’y a » aucune différence » ou » aucune association » simplement parce qu’une valeur P est supérieure à un seuil
tel que 0,05 ou, de façon équivalente, parce qu’un intervalle de confiance inclut zéro. Nous ne devrions pas non plus conclure que deux études entrent en conflit parce que l’une avait un résultat statistiquement significatif et l’autre non. Ces erreurs gaspillent les efforts de recherche et désinforment les décisions politiques. - Notre appel à retirer la signification statistique et à utiliser les intervalles de confiance comme intervalles de compatibilité n’est pas une panacée. Bien qu’elle éliminera de nombreuses mauvaises pratiques, elle pourrait bien en introduire de nouvelles. Par conséquent, le suivi de la littérature sur les abus statistiques devrait être une priorité permanente pour la communauté scientifique. Mais l’éradication de la catégorisation aidera à mettre un terme aux affirmations exagérées, aux déclarations injustifiées de » pas de différence » et aux déclarations absurdes sur » l’échec de la réplication » lorsque les résultats des études initiales et des études de réplication sont hautement compatibles. L’utilisation abusive de la signification statistique a fait beaucoup de tort à la communauté scientifique et à ceux qui se fient aux avis scientifiques. Les valeurs P, les intervalles et les autres mesures statistiques ont tous leur place, mais il est temps que la signification statistique disparaisse.
tel que 0,05 ou, de façon équivalente, parce qu’un intervalle de confiance inclut zéro. Nous ne devrions pas non plus conclure que deux études entrent en conflit parce que l’une avait un résultat statistiquement significatif et l’autre non. Ces erreurs gaspillent les efforts de recherche et désinforment les décisions politiques.Cette image de droite est impressionnante : la moitié des statistiques seraient mal interprétées dans les articles… (voire bidonnées ?)
L’American Statistical Association a une série de 7 livres sur ces sujets.
Je remercie Carole Dufouil pour les infos, et Dominique Costagliola qui a twitté cet article (elle est signataire parmi les 800).
Un commentaire
Le problème de la notion fallacieuse de « significativité statistique » est qu’elle est à la base de l’évaluation des travaux par les administrations et les investisseurs… La tyrannie du p est moins une difficulté scientifique qu’une contrainte politique, aux mains de personnes qui font la loi sur le valable et le non valable, avec manichéisme sans y connaître toujours grand’chose.