Nature de fin novembre 2017 a demandé les avis de 5 statisticiens sur le bon emploi des stats dans les articles : "Five ways to fix statistics" avec un sous-titre "Alors que le débat gronde sur la question de savoir comment et dans quelle mesure les mauvaises 
statistiques sont responsables d'une mauvaise reproductibilité, Nature a demandé aux statisticiens influents de recommander un changement pour améliorer la science. Le thème commun? Le problème, ce ne sont pas nos maths, mais nous-mêmes."
Jeff Leek de Johns Hopkins, Baltimore : nous avons besoin de plus d'informations sur la manière dont les chercheurs collectent manipulent, analysent, communiquent et utilisent les données. Il serait alors possible de mieux former les chercheurs et le public. Puisque des données bon marché, abondantes et 'bruyantes' innondent les analyses, c’est notre seul espoir pour avoir des informations robustes.
Blackeley B McShane et Andrew Gelman, Columbia University, New York : demander un seuil de significativité encourage les chercheurs à investiguer de nombreuses voies dans leurs analyses, et ce qui apparaît dans les articles est une sélection non représentative des données. La valeur de P n’est qu’une évaluation parmi d’autre, et parfois elle apporte peu au débat. Il faut abandonner la valeur de P, comme proposé par de nombreux statisticiens ; nous avons présenté sur ce blog les arguments pour que P < 0,005 remplace 0, 05.
David Colquhoun, University College London : il vaudrait mieux exprimer le FPR (False Positive Risk) qui est facile à calculer ; imaginez qu'un auteur présente une valeur de P proche de 0,05 avec un risque de faux positif d'au moins 26 %…
Michèle B Nuijten, TIlburg University, Hollande : partager les données et ouverture de la science sont majeurs ; la première démarche est l'enregistrement préalable des protocoles pour ne publier que les analyses prévues avant la recherche ; si d'autres analyses sont faites, bien expliquer qu'elles n'étaient pas prévues a priori ;
Steven N Goodman, Stanford University, Californie : ce n'est pas le problème de la statistique, mais comment les stats sont utilisées. Sa conclusion : "Le temps est venu de procéder à des réformes. La "crise de la reproductibilité" a montré le coût de l'inattention pour une conception et une analyse correctes. De nombreux jeunes scientifiques d'aujourd'hui exigent des changements ; les leaders sur le terrain doivent se faire les champions des efforts pour former correctement la prochaine génération et former à nouveau la génération existante. Les statisticiens ont un rôle important, mais secondaire. Les normes de pratique doivent être changées de l'intérieur."
Un commentaire
En fait, ces chercheurs veulent enfin s’attaquer au problème décrit il y a maintenant plusieurs dizaines d’années et popularisé par la phrase pleine d’humour :
« « Je ne crois aux statistiques que lorsque je les ai moi-même falsifiées » (Winston Churchill)