Très gros travail publié le 6 septembre 2024 dans JAMA Network Open avec pour titre : Agreement Between Mega-Trials and Smaller Trial. A Systematic Review and Meta-Research Analysis. Un preprint avait été déposé sur medRxiv en mai. Très gros article (21 pages format PDF) ave
c 10 auteurs et des affiliations de 6 pays (USA, Suisse, Allemagne, Hollande, Autriche, Iran) et la participation de JP Ioannidis (METRICS, Stanford).
Le message est qu’il faudrait faire plus souvent faire des méga-essais, définis ici comme de plus de 10 000 patients, hors essais de vaccins. Bon message, mais pas si facile à mettre en oeuvre pour diverses raisons. Attention aux généralisations trop rapides.
« Conclusions et pertinence » du résumé de l’article :
Accrochez-vous pour lire la conclusion (traduction DeepL revue) : Dans cette méta-recherche, les méta-analyses d’essais plus petits ont montré des résultats globalement comparables à ceux des méga-essais, mais les essais plus petits publiés avant les méga-essais ont donné des résultats plus favorables que les méga-essais. Ces résultats suggèrent que les méga-essais doivent être réalisés plus souvent étant donné le nombre relativement faible de méga-essais trouvés, leur faible taux de significativité et le fait que les petits essais publiés avant les méga-essais rapportent des résultats plus bénéfiques que les méga-essais et les petits essais subséquents.
Une revue systématique impressionnante
Il faut beaucoup de temps pour lire ce travail, très documenté, avec un protocole, beaucoup d’annexes, une déclaration de partage de données, etc… De la méta-science de qualité. BRAVO.
La stratégie de recherche a été complexe car pour faire une comparaison, il fallait des critères de jugement similaires : We searched for mega-trials in ClinicalTrials.gov (last updated January 2023) and then performed PubMed searches (until June 2023) to identify the most recent meta-analyses that included the results of these mega-trials for the primary outcome of the mega-trial and for all-cause mortality.
Sans surprises, sur 82 méga-essais inclus, 64 étaient dans le domaine cardiovasculaire, 17 dans le domaine nutritionnel, et un sur de la pharmacologie. Donc conclusions généralisables à ces domaines seulement ou à d’autres ? En cardiovasculaire, il y a beaucoup de méga-essais… donc beaucoup d’argent et une recherche d’un petit effet ???
Voici le paragraphe ‘Results’ du résumé (ROR pour odds ratio) : Of 120 mega-trials identified, 41 showed a significant result for the primary outcome and 22 showed a significant result for all-cause mortality. In 35 comparisons of primary outcomes (including 85 point estimates from 69 unique mega-trials and 272 point estimates from smaller trials) and 26 comparisons of all-cause mortality (including 70 point estimates from 65 unique mega-trials and 267 point estimates from smaller trials), no difference existed between the outcomes of the mega-trials and smaller trials for primary outcome (ROR, 1.00; 95% CI, 0.97-1.04) nor for all-cause mortality (ROR, 1.00; 95% CI, 0.97-1.04). For the primary outcomes, smaller trials published before the mega-trials had more favorable results than the mega-trials (ROR, 1.05; 95% CI, 1.01-1.10) and subsequent smaller trials published after the mega-trials (ROR, 1.10; 95% CI, 1.04-1.18).
PS : Je remercie Pierre Rimbaud
4 commentaires
Je vais lire cet article au plus vite. Dommage qu’ils continuent à prendre la significativité comme critère de succès de l’essai puisqu’avec de tels effectifs et les bonnes méthodes (bayésiennes) on a la possibilité de montrer qu’un effet est négligeable et qu’il faut donc, bien que significatif au sens classique, ne pas utiliser le nouveau traitement.
Par ailleurs, cela fait des années qu’empiriquement j’en étais arrivé à la conclusion que pour qu’une analyse statistique tienne un peu la route, il faut au moins 1000 sujets (éventuellement par groupe). En dessous, la variabilité reste trop faible, quelle que soit la question traitée.
Mais il sera difficile de changer les pratiques. Vaut-il mieux ne financer que les mega-trial pour voir des réponses à peu près définitives ? Cela laisserait de côté des milliers de questions pertinentes. Une solution (bayésienne là aussi) est pourtant décrite depuis longtemps dans Lau et al, en 1995 dans le Journal of Clinical Epidemiology 48(1):45-57. CUMULATIVE META-ANALYSIS OF CLINICAL TRIALS BUILDS EVIDENCE FOR EXEMPLARY MEDICAL CARE.
Beaucoup de « petits essais » sont avant tout un immense gâchis de ressources.
Trop souvent, il n’ont pas la puissance nécessaire pour être significatifs.
Trop souvent, leur publication ne répond qu’au besoin d’un promoteur commercial pour faire état de résultats parcellaires paraissant favorables, ou bien d’auteurs en mal de production pour obtenir leur diplôme, leur titre ou leur budget.
Trop souvent, ils sont conçus avec un souci de rapidité et d’économie.
Trop souvent, ils encombrent le marché de l’édition avec des résultats peu reproductibles, peu fiables et volontiers contradictoires, qui obligent à un énorme travail de méta-analyses qui peinent à conclure quoi que ce soit.
Le résultat de l’accumulation de ces « petits essais » est qu’elle épuise les financements nécessaires pour les coûteux et indispensables méga-essais – dont, c’est vrai, un des nombreux intérêts est d’estimer la réalité des tailles d’effet !
Les méga-essais sont malheureusement dispendieux en moyens tant matériels qu’humains. Leur mise en oeuvre demande beaucoup de travail et de temps, et surtout elle requiert de vastes coopérations, incompatibles avec cette désastreuse politique qui met en concurrence les centres de recherche et les équipes à toutes les échelles – locale, nationale et internationale
Bonsoir,
merci pour ces commentaires et références, et je vais relire cet article important.
Plutôt que 10 000, je suis d’accord que 1000 patients est bien.
Cordialement
Chers amis
Juste une nuance sur méga-essais et mini-essais.
Nous avons en cancérologie des mutations tumorales « actionnables » en théorie mais rares, et on ne peut pas faire des essais contrôlés sur 1 000 personnes car on mettrait 10 ans à les recruter. On est donc souvent contraint de procéder différemment pour valider l’activité de telle ou telle thérapie ciblée, et de mettre en place des approches de type basket ou umbrella. Mais cela ne change rien à la nécessité d’arrêter de faire des petits essais avec 100 patients quand le recrutement de 1 000 est possible.
Je me souviens d’avoir choqué mon auditoire de pharmacogénéticiens lors d’une conférence qui m’était offerte à l’occasion de mon départ à la retraite. Je disais simplement que les associations (qu’ils appellent allègrement « corrélations ») entre un polymorphisme constitutionnel et une donnée clinique (réponse tumorale ou survie), n’avaient aucun sens en dessous d’un millier de patients, et même de dix fois plus lorsque plusieurs polymorphismes ou plusieurs critères cliniques sont étudiés, pour de simples raisons de multiple testing. La plupart de ces articles ont pour conclusion (honnête) : « these results warrant further validation in larger prospective clinical trials ». Alors, pourquoi les publier ? Hélas, ça continue de la même façon…