Bizarre : trop de statistiques ont un « P » entre 0,045 et 0,050 (massage de données ?)

Bonne idée d’un américain et d’un canadien qui ont analysé la distribution des valeurs de « P » dans 3 revues prestigieuses de psychologie. Publié début août 2012 dans Quat J Exp Psychology. Sur les articles publiés en 2008, ils ont analysé 3557 valeurs de P entre 0,01 et 0,10. L’article n’est pas très bien écrit, mais la méthode semble très rigoureuse, avec de nombreuses validations : beau travail ! Conclusion pas étonnante, mais pour laquelle nous n’avions pas de données : « Il y a plus de valeurs de P entre 0,045 et 0,050 qu’attendu« . Les figures 1 montrent un petit rebond très suspect dans les courbes…, avec un pic entre 0,04875 et 0,05 ! Ceci est observé dans les 3 revues. L’échantillon de 3557 valeurs est grand, donc données assez fiablesQu’en penser ? Pas étonnant, car il faut être sous le 0,05 pour plaire aux rédacteurs, reviewers, et à la communauté scientifique…   C’est donc un vrai biais de publication. On pourrait penser que ces données s’appliquent à d’autres disciplines scientifiques… et je le crois pour la biomédecine, mais il faudrait le prouver. Discussion passionnante qui remet en cause l’adoption de ce seuil de 0,05 dont la signification est ‘sacralisée’…  et biaise les analyses. Une remarque avec une citation apparaît dans la discussion : « la mise à disposition des données sources et des analyses serait plus difficile quand P juste inférieur à 0,05« ….   à méditer car il est facile d’enlever des données discordantes, de modifier un échantillon pour l’analyse, de masquer une donnée, et de « masser les données »…

Un statisticien canadien, Larry Wasserman, a repris les données de l’article pour les présenter sous forme du graphe ci-joint. Effectivement il y a 70 % de valeurs de P inférieures à 0,05 et 30 % supérieures : OK, ce sont des faits. Mais la courbe s’applatit avant une chute vertigineuse juste à 0,05. Des observateurs, mal intentionnés comme je le suis, font l’hypothèse que des 0,054 auraient pu devenir des 0,047 : votre avis ?

Masicampo EJ, Lalande DR. A peculiar prevalence of p values just below .05. The Quaterly Journal of Experimental Psychology 2012;iFirst:1-9.