L’intégrité des essais randomisés contrôlés : la partie émergée d’un iceberg… enregistrement des protocoles, CONSORT ne suffisent pas

RCT Integrity GynecoEst-ce que la moitié des publications seraient fausses comme l'a suggéré R Horton, rédacteur en chef du Lancet, en 2015 ? Qu'en est-il des meilleurs méthodologies, à savoir les essais randomisés contrôlés ? Bon article d'auteurs australiens et hollandais dans Fertility and Sterility en mai 2020, avec des exemples en gynécologie, et plein d'interrogations.

Article difficile à synthétiser, et j'ai traduit le résumé : "Nous pouvons être inquiets quant à l'intégrité compromise des essais contrôlés randomisés (ECR), car elle sape l'autorité de cette méthode de haut niveau de preuves et met les patients en danger. Les ECR douteux compromettent également la validité des revues systématiques et des méta-analyses lorsqu'ils sont inclus. L'environnement de la recherche axé sur la publication est responsable de l'émergence de problèmes d'intégrité dans les ECR, ce qui a été facilité par l'insuffisance des efforts déployés pour prévenir, identifier et divulguer les cas d'inconduite en matière de recherche. La capacité à évaluer l'intégrité des ECR est importante pour dissuader les cas d'inconduite dans la recherche. L'intégrité des données dans les ECR peut être évaluée dans trois domaines : l'évaluation générale, l'analyse avec des données résumées et la vérification des données individuelles des participants. Les méthodes statistiques ont un rôle important dans la recherche de preuves contre la fabrication ou la falsification des données dans les ECR. Il est important d'appliquer strictement la politique d'enregistrement prospectif et la déclaration CONSORT (Consolidated Standards of Reporting Trials) pour la publication des ECR, mais il faut consacrer plus d'efforts au développement et à la validation des méthodes statistiques qui identifient les différents modèles de manipulation des données. Idéalement, le système de soumission, d'examen et de publication devrait être réformé de manière à permettre l'examen et la rétractation en temps utile des ECR compromis. Les auteurs des revues systématiques devraient être conscients de l'incertitude que représentent les ECR douteux pour la qualité des preuves synthétisées, et ils devraient participer à la campagne de lutte pour l'intégrité de la recherche."

L'enregistrement obligatoire des protocoles des essais a été demandé en 2005, et 15 ans plus tard, ce n'est pas suffisamment respecté. Les lignes directrices CONSORT sont anciennes : premières réflexions en 1993 avec deux groupes distincts, pour publier en 1996 une première version… donc après 25 ans, CONSORT n'est pas suffisamment suivi !!! La checklist REAPPRAISED proposée en 2020 pourrait faciliter le développement de l'intégrité. Open Access, disponibilités des données sources, etc…   ????

Un anglais, John Carlisle, a débusqué de nombreuses fraudes lors des ECR, et il a développé des méthodes statistiques pour faciliter ces recherches. Son portrait dans Nature en 2019 explique ses méthodes. Dans cet article de Fertility ans Sterility, les méthodes statistiques, dont celles de J Carlisle, sont développées.

Partagez cet article sur les réseaux:
Partager sur facebook
Facebook
Partager sur twitter
Twitter
Partager sur pinterest
Pinterest
Partager sur linkedin
LinkedIn

4 commentaires

  • « Un anglais, John Carlisle, a débusqué de nombreuses fraudes lors des ECR, et il a développé des méthodes statistiques pour faciliter ces recherches. Son portrait dans Nature en 2019 explique ses méthodes. » Je découvre grâce à vous, merci ! Et je suis bluffé par fait que des vérifications aussi basiques (sur le profil socio-démo ou sur la possibilité de pourcentages s’ils sont basés sur des nombres entiers) marchent : que les auteurs puissent faire des erreurs aussi grossières, et les éditeurs ne pas les voir. Et puis… j’ai vu passer un papier (étranger, je précise pour la polémique franco-française) sur l’évolution de la charge virale, mesurée sur 20 personnes, où un pourcentage valait 91%… Et je n’ai rien dit (enfin sur Twitter oui, mais je n’ai pas écrit à l’éditeur !). Le grand mérite de Carlisle et autres est dans le fait d’oser. Plus, le temps qu’ils y consacrent !

    Répondre
  • Répétons-le : on aurait sûrement tort de sous-estimer l’intérêt des ECR… mais plus encore de surestimer leur valeur.
    D’une part le dogme ECR est essentiellement utile pour enregistrer les dossiers réglementaires de produits à visée thérapeutique, mais n’est pas en mesure de répondre à toutes les questions.
    D’autre part, les ECR sont intensément manipulés d’innombrables manières, quand ils ne sont pas tout simplement gravement fautifs. Et parmi les rares qui restent vraiment exempts de critique, la plupart ne délivrent aucun résultat utile.
    Les ECR sont indispensables, mais ne peuvent malheureusement pas résumer la science médicale.

    Répondre
  • Sans compter les apparemment très nombreux changements de critères de jugement dans des études publiées dans les meilleures revues qui souvent n’apporte pas de réponse lorsque on le leur signale.
    https://compare-trials.org/
    67 trials checked
    9 trials were perfect
    354 outcomes not reported
    357 new outcomes silently added
    « On average, each trial reported just 58.2% of its specified outcomes. And on average, each trial silently added 5.3 new outcomes. »
    58 letters sent
    18 letters published
    8 letters unpublished after 4 weeks
    32 letters rejected by editor
    Vous en avez parlé ici mais est-ce que ce type de fraude (what else ?) a disparu ?

    Répondre
  • Bonjour
    merci pour tous ces commentaires auxquels je souscris
    Merci d’avoir rappelé les résultats du projet Compare Trials, dont le site n’a pas été actualisé. J’avais évoqué ce projet en décembre 2015 https://www.redactionmedicale.fr/2015/12/comparaison-des-protocoles-et-publications-dessais-randomis%C3%A9s-dans-5-revues-prestigieuses.html avec les premières données.
    Grâce à votre commentaire, je m’aperçois que je n’ai pas évoqué les deux publications de Compare !!! Erreur +++ En voici une https://www.redactionmedicale.fr/2015/12/comparaison-des-protocoles-et-publications-dessais-randomis%C3%A9s-dans-5-revues-prestigieuses.html
    MERCI

    Répondre

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Articles populaires

Archives mensuelles

Suivez-nous

Newsletter

Inscrivez-vous à notre newsletter mensuelle

Tags

– –

Vous pourriez aussi aimer

leo odio pulvinar in Sed Donec dapibus