C'est avec plaisir que j'ai découvert qu'une revue française s'interrogeait sur la valeur seuil de p pour les statistiques. C'est un bon article dans la revue Médecine et Maladies Métaboliques de décembre 2018, intitulé : "Le seuil du « p » statistique à 0,05 est-il fiable ou non ? Telle est la question". Un changement de seuil en appelant statistiquement significatif les valeurs de p < 0,005 est demandé par de nombreux experts.
Bon article car il prend des exemples d'essais de la discipline et commente les seuils de significativité. Je ne peux que copier/coller les points essentiels qui sont bien faits :
- La détermination du « p » statistique est une étape importante dans l’évaluation de l’efficacité et de la sécurité d’un médicament à partir des résultats obtenus dans les grandes études randomisées.
- En général, l’effet d’un médicament est jugé supérieur, inférieur, ou non-inférieur à son comparateur quand le « p » est < 0,05.
- La valeur de ce seuil est aujourd’hui débattue, car il ne permet pas toujours une distinction claire entre significativité et non-significativité des effets observés, certains étant considérés comme bénéfiques ou délétères alors qu’ils ne le sont pas.
- Pour étayer la proposition de ramener le seuil de 0,05 à 0,005, quatre exemples sont proposés après avoir été choisis parmi des études réalisées dans le diabète de type 2 au cours des dernières années.
- Quand les statistiques classiques donnent des résultats ambigus (« p » entre 0,05 et 0,005), il est préférable de compléter par une analyse utilisant la méthode Bayésienne. C’est grâce à elle que les effets cardiovasculaires bénéfiques du liraglutide (étude LEADER) et de l’empagliflozine (étude EMPA-REG OUTCOME) ont pu être confirmés.
5 commentaires
Merci
Mais la revue (à laqelle je n’ai pas accès in extenso) s’interroge-t-elle sur l’importance de l’amplitude de l’effet, qui est une partie importante de la significativité clinique?
On voit démontrer avec des méga-études des différences significatives avec p < 0,001, mais des différences si petites que peu importe le p. Comment d'ailleurs imputer une causalité à une intervention lorsque l'on observe des différences de l'ordre de 2% et moins (en absolu pas en relatif). La biostatistique dit oui dans une étude contrôlée avec tirage au sort correct et double aveugle, l'instinct dit non.
Le jugement du médecin doit être basé sur la taille de l’effet. Certaines revues refusent même de voir afficher la valeur du p. Le seuil de 5% est totalement arbitraire et est le fruit de l’histoire. La taille de l’effet ne dépend pas de l’effectif (mais son intervalle de confiance, si). N’oubliez pas que la p-value dépend de l’effet observé, de la variabilité du phénomène mesuré et de l’effectif. Un effectif énorme mettra en évidence un effet ridiculement petit, si petit qu’il n’aura aucune importance clinique. Les statistiques mesurent seulement la probabilité que l’effet observé dans l’échantillon soit dû au hasard (effet d’échantillonnage)s’il n’était pas vrai dans la population source. Elles ne disent rien de l’intérêt de cet effet.
Plus encore, il faut rappeler que « p » ne dit absolument rien de l’objet étudié. Il ne renseigne que sur la crédibilité de l’étude effectuée (sa mal dénommée « significativité »).
Trop de gens croient qu’un « p » dit si l’hypothèse testée est vraie ou fausse, alors qu’il mesure seulement la chance que le résultat obtenu soit du au hasard.
Pierre Rimbaud
Merci pour vos remarques… Utiles, voire très utiles…
HM
@ Pierre Rimbaud : malheureusement, p ne dit rien de la crédibilité des résultats observés, et ne mesure pas non plus la chance que le résultat obtenu soit du au hasard :/