C'est un article compliqué publié dans PNAS en novembre 2013, et dont on pourrait parler longtemps. L'article "Revised standards for statistical evidence". L'encadré résume les opinions de VE Johnson, statisticien de l'Université du Texas : "Le manque de reproductibilité de la recherche scientifique sape la confiance du public dans la science et conduit à la mauvaise utilisation des ressources lorsque les chercheurs tentent de répliquer et étendre les résultats de recherche fallacieux. En utilisant les développements récents des tests d'hypothèse bayésienne, l'une des causes de non-reproducibilité est imputable à la conduite de tests de signification à des niveaux élevés de façon inappropriée. Des modifications des normes communes de preuve sont proposées pour réduire le taux de non-reproducibilité de la recherche scientifique par un facteur de 5 ou plus."
Cet article mérite plusieurs lectures. Il explique que 17 à 25 % des découvertes scientifiques seraient fausses. Passer de 0,05 à 0,005 serait une révolution importante.. Nous avons vu qu'en sciences sociales, il y avait une prévalence élevée de valeurs de P entre 0,045 et 0,050 (analyse de 3557 P) !!!! Un autre article de novembre 2013, en sciences sociales, par des australiens a montré que ce phénomène existait depuis 1965, mais s'était aggravé depuis 2005…son titre "The life of p: 'just significant' results are on the rise".
Des blogs ont commenté ces articles, avec une bonne discussion de Pierre Barthélémy. Ce serait une bonne nouvelle expliquant la non-reproductibilité car on a tendance à l'attribuer au laxisme des chercheurs…
Merci à Joël Ménard pour cet article
