- Je ne connaissais pas cette notion, et cet article du 18 mars 2022 (JAMA Open Network) m’a intéressé. Son titre : ‘The Fragility of Statistically Significant Results in Randomized Clinical Trials for COVID-19‘. Je ne sais pas quelle est la valeur de ce concept de fragilité des résultats significatifs qui paraît simple. Il est bien expliqué dans l’article et par la figure 1 que j’ai reprise ci-contre. Il est expliqué ainsi : ‘Cet index indique le nombre minimum de participants à un essai positif qui devraient avoir un résultat différent pour que les résultats de l’essai perdent leur signification statistique. Un chiffre plus faible sur l’indice de fragilité indique que la signification statistique de l’essai dépend de moins d’événements. Par exemple, un score de 2 sur cette mesure signifie que si 2 participants du groupe d’intervention avaient eu des résultats différents, l’essai contrôlé randomisé n’aurait pas de résultat statistiquement significatif en utilisant le seuil conventionnel de la valeur P de moins de 0,05.’
Les résultats montrent la fragilité des études médicamenteuses et la robustesse des essais de vaccins. Les auteurs ont inclus 47 essais, 36 médicamenteux, 5 vaccins et 6 autres. La médiane du nombre de patients était de 111 [72 – 392], et la médiane d’évènements 44 [18 – 112]. La médiane de l’index de fragibilité était de 2,5 [1 – 6] pour les 36 essais de médicaments, et de 119 [61 – 139] pour les 5 essais de vaccins. Ces observations sont semblables aux domaines non-COVID. Sur les 47 essais, l’index de fragilité était de 1 [0 – 1] pour les essais dont la valeur de P était < 0.05 – 0.01 ; il était de 4 [4 – 6] quand la valeur de P était < 0.01 – 0.001 ; il était de 12 [6 – 24] quand la valeur de P était < 0.001 ; il était de 61 [4 – 119] quand la valeur de P n’était pas clairement précisée. Il y a beaucoup de données à consulter.
Encore beaucoup d’arguments pour oublier ce seuil de 0.05 qui est très fragile !!! Il ne faut pas trop se fier à ces petits essais, même correctement faits, si la signification statistique est fragile. Les auteurs suggèrent que ces petits essais sont utiles pour le projet COVID-NMA cité en référence 63.Il y a les recommandations OMS régulièrement actualisées.
Tout ceci est probablement généralisable pour des essais hors COVID-19.
3 commentaires
Bonjour,
Merci pour ce partage très intéressant, que j’ai évoqué dans le forum de SBM et auquel RogueMedic m’a fait cette réponse : https://sciencebasedmedicine.org/10000-deaths/#comment-5803191815
Cordialement,
Olivier
L’index de fragilité est un concept intéressant a priori mais qui repose sur des concepts sans aucun intérêt (test d’hypothèse nulle et p-valeur). Cela suffit à invalider l’intérêt de cet index. On trouvera un avis similaire ici : https://statmodeling.stat.columbia.edu/2017/01/03/statistics-meets-bureaucracy/ .
On pourrait imaginer de le transposer dans le monde bayésien mais finalement, cela reviendrait à faire une analyse de sensibilité en modifiant la loi a priori.
Une fois de plus, c’est un outil qui trompe ceux qui ne connaissent pas assez la statistique. J’aime beaucoup la citation de Stephen Sen : « I’ve been studying statistics for over 40 years & I still don’t understand it. The ease with which non-statisticians master it is staggering »…
Merci pour ce commentaire qui nous éclaire.
Je dois faire attention à ce concept. MERCI