L’index de fragilité des résultats statistiquement significatifs des essais COVID-19 : oublions vite ce seuil de 0.05

1. Je ne connaissais pas cette notion, et cet article du 18 mars 2022 (JAMA Open Network) m’a intéressé. Son titre : ‘The Fragility of Statistically Significant Results in Randomized Clinical Trials for COVID-19‘. Je ne sais pas quelle est la valeur de ce concept de fragilité des résultats significatifs qui paraît simple. Il est bien expliqué dans l’article et par la figure 1 que j’ai reprise ci-contre. Il est expliqué ainsi : ‘Cet index indique le nombre minimum de participants à un essai positif qui devraient avoir un résultat différent pour que les résultats de l’essai perdent leur signification statistique. Un chiffre plus faible sur l’indice de fragilité indique que la signification statistique de l’essai dépend de moins d’événements. Par exemple, un score de 2 sur cette mesure signifie que si 2 participants du groupe d’intervention avaient eu des résultats différents, l’essai contrôlé randomisé n’aurait pas de résultat statistiquement significatif en utilisant le seuil conventionnel de la valeur P de moins de 0,05.’

Les résultats montrent la fragilité des études médicamenteuses et la robustesse des essais de vaccins. Les auteurs ont inclus 47 essais, 36 médicamenteux, 5 vaccins et 6 autres. La médiane du nombre de patients était de 111 [72 – 392], et la médiane d’évènements 44 [18 – 112]. La médiane de l’index de fragibilité était de 2,5 [1 – 6] pour les 36 essais de médicaments, et de 119 [61 – 139] pour les 5 essais de vaccins. Ces observations sont semblables aux domaines non-COVID. Sur les 47 essais, l’index de fragilité était de 1 [0 – 1] pour les essais dont la valeur de P était < 0.05 – 0.01 ; il était de 4 [4 – 6] quand la valeur de P était < 0.01 – 0.001 ; il était de 12 [6 – 24] quand la valeur de P était < 0.001 ; il était de 61 [4 – 119] quand la valeur de P n’était pas clairement précisée. Il y a beaucoup de données à consulter.

Encore beaucoup d’arguments pour oublier ce seuil de 0.05 qui est très fragile !!! Il ne faut pas trop se fier à ces petits essais, même correctement faits, si la signification statistique est fragile. Les auteurs suggèrent que ces petits essais sont utiles pour le projet COVID-NMA cité en référence 63.Il y a les recommandations OMS régulièrement actualisées.

Tout ceci est probablement généralisable pour des essais hors COVID-19.