Bon article en juillet 2017 dans Journal of Clinical Epidemiology intitulé :"The distribution of P-values in medical research articles suggested selective reporting associated with statistical significance". Il existe des données importantes sur le bricolage évident des statistiques dans les articles scientifiques, et ceci est une caractéristique transdisciplinaire, des sciences sociales, aux sciences de la vie et aux sciences dures !
La qualité des statistiques fait pleurer et personne ne change rien à ce scandale ! Si cet article confirme des observations connues, il a le mérite d'avoir analysé 120 articles médicaux de 2016 dans 4 revues très prestigieuses (BMJ, JAMA, Lancet et NEJM). Nous pouvons faire l'hypothèse que ceci n'est pas généralisable aux revues de spécialités… mais j'ai peur que ce soit pire pour les revues qui n'ont pas de révision statistique des articles… Car ces 4 revues évaluent les statistiques des articles acceptés… Nous avons plusieurs billets sur ce blog, dont les suggestions d'abandonner la valeur de P dans les articles.
T Perneger et C Combescure ont analysé 4 158 valeurs de P dans ces 120 articles, donc en moyenne 35,6 par article (extrêmes de 1 à 141). intéressant de noter que sur ces 120 articles ayant au moins une valeur de P, 109 (90,8 %) avaient des valeurs de P sans intervalles de confiance, 91 (75,8 %) avaient des valeurs de P avec intervalles de confiance, et 91 (75,8 %) avaient des intervalles de confiance sans valeur de P.
Les résultats des auteurs dans le résumé : "Parmi les 4 158 valeurs de P analysées, 26,1% étaient hautement significatives (P <0,001), 9,1% modérément significatives (P ≥ 0,001 à <0,01), 11,7% faiblement significatives (P ≥ 0,01 à <0,05) et 53,2% non significatives (P ≥ 0,05). Nous avons noté trois irrégularités: (1) une proportion importante de valeurs de P <0,001, spécialement dans les études observationnelles, (2) un excès de valeurs de P égales à 1, et (3) environ deux fois plus de valeurs de P inférieures à 0,05 par rapport aux valeurs de plus de 0,05. Cette dernière observation a été notée à la fois dans des essais randomisés et des études d'observation, et dans la plupart des types d'analyses, à l'exception des tests d'hétérogénéité et des tests d'interaction. Selon des hypothèses plausibles, nous estimons qu'environ la moitié des hypothèses testées étaient nulles et l'autre moitié était alternative."
Il est clair qu'une présentation sélective des données est fréquente : il est toujours utile d'avoir des preuves pour bien argumenter ce que tous les chercheurs admettent… Je dis bien tous !
Il y a de bonnes références, à commencer par celle de Chavalarias et al, JAMA, sur les valeurs de P dans les abstracts des articles de PubMed…. Effarant.
La référence de Masicampo et Lalande montrant des résultats similaires en psychologie à partir d'articles de 2008 est intéressante et ils ont très clairement montré, comme T Perneger et C Combescure cette cassure entre la répartition des valeurs de P juste supérieures et juste inférieures à 0,05. Cette répartition de Masicampo a été illustrée sur un blog par l'image ci-contre (qui n'est pas dans l'article original) que j'utilise en formation. Cette représentation imagée pourrait être faite avec les 4 158 valeurs de P des revues médicales…
J'ajouterai les données de Perneger et Conbescure dans mes diapos.
