Les auteurs d’essais cliniques randomisés cardiovasculaires ne présentent pas les résultats des critères primaires non significatifs sur le plan statistique avec exactitude et objectivité

• Je remercie les experts (A Ellrodt, P Rimbaud) qui ont commenté mon billet du 9 mai 2019 intitulé "Mauvaise qualité des essais randomisés dans les revues prestigieuses de cardiologie". Ils ont attiré mon attention sur un article du JAMA Network Open (3 mai 2019) intitulé "Level and prevalence of spin in published cardiovascular randomized clinical trial reports with statistically nonsignificant primary outcomes. A systematic review." Des auteurs sont communs entre les deux articles. Ce travail est excellent, et apporte des données nouvelles sur la question des spins. Ces observations rejoignent la description du langage des leaders d'opinions quand ils présentent les résultats des essais dits négatifs ! Il y a pas mal de données sur les spin, et probablement que la moitié des résumés, voire plus, contiennent des spins.

Les messages clés et le résumé étant très bien faits, j'ai essayé de les traduire…  mais vous allez vous évanouir :

Messages clés : Question : Les auteurs d'essais cliniques randomisés cardiovasculaires présentent-ils les résultats des critères primaires non significatifs sur le plan statistique avec exactitude et objectivité ? Résultats : Dans cette revue systématique qui comprenait 93 rapports d'essais cliniques randomisés provenant de six revues à fort impact, on a trouvé une interprétation positive des résultats primaires non significatifs sur le plan statistique dans 57 % des résumés et 67 % du texte principal des articles publiés. Interprétation : Malgré l'examen par les pairs, la manipulation du langage dans la littérature cardiovasculaire est courante et peut avoir des répercussions sur l'intégrité scientifique, les soins aux patients, l'examen par les pairs et les progrès médicaux.

Résumé

• Importance : Les cliniciens-chercheurs sont tenus de présenter les résultats de façon objective et précise afin de s'assurer que les lecteurs ne sont pas induits en erreur. Dans les études où les critères d'évaluation primaires ne sont pas statistiquement significatifs, ajouter un spin, défini comme la manipulation du langage pour tromper le lecteur sur la vérité probable des résultats, peut distraire le lecteur et mener à une mauvaise interprétation et à une mauvaise application des résultats.
• Objectif : Déterminer le niveau et la prévalence des spins dans les rapports publiés sur les essais cliniques randomisés (ECR) cardiovasculaires.
• Origine des données : MEDLINE a fait l'objet d'une recherche du 1er janvier 2015 au 31 décembre 2017 à l'aide de la stratégie de recherche très sensible de la collaboration Cochrane.
• Sélection des essais : Les critères d'inclusion étaient les ECR à groupes parallèles publiés six revues à impact élevé (New England Journal of Medicine, The Lancet, JAMA, European Heart Journal, Circulation et Journal of the American College of Cardiology) et dontdont les résultats primaires n'étaient pas statistiquement significatifs.
• Analyse et synthèse des données : L'analyse a débuté en août 2018. Les données ont été extraites et vérifiées par deux enquêteurs indépendants au moyen d'un formulaire de collecte standard. En cas de désaccord entre les deux enquêteurs, un troisième enquêteur faisait office d'arbitre.
• Critère principal de jugement : Les classifications du type de spin, de la gravité et de l'étendue ont été déterminées selon des critères prédéfinis. Les critères primaires cliniques ont été divisés en trois catégories : innocuité du traitement, efficacité du traitement et les deux.
• Résultats : Des 587 études identifiées, 93 rapports d'ECR (15,8 %) répondaient aux critères d'inclusion. Un spin a été identifié dans 53 résumés (57 % ; IC 95 %, 47 %-67 %) et 62 textes principaux d'articles publiés (67 % ; IC 95 %, 57 %-75 %). Dix rapports (11 % ; IC 95 %, 6 %-19 %) avaient un spin dans le titre, 35 rapports (38 % ; IC 95 %, 28 %-48 %) avaient un spin dans la section des résultats et 50 rapports (54 % ; IC 95 %, 44 %-64%) avaient un spin dans les conclusions. Parmi les résumés, un spin a été observée dans 38 sections de résultats (41 % ; IC 95 %, 31 % à 51 %) et 45 sections de conclusions (48 % ; IC 95 %, 38 % à 58 %).
• Conclusion : Cette étude suggère que dans les rapports d'ECR cardiovasculaires dont les résultats primaires sont statistiquement non significatifs, les chercheurs manipulent souvent le langage du rapport pour détourner l'attention des résultats primaires neutres. Pour mieux appliquer les données probantes aux soins aux patients, les cliniciens du domaine cardiovasculaire doivent savoir que l'examen par les pairs n'empêche pas toujours l'utilisation d'un langage trompeur dans les articles scientifiques.

Et si vous êtes encore en vie, lisez l'article, vous ne serez pas déçus ! Toutes les études marchent, même celles qui ne marchent pas.. c'est rassurant.

PS : j'ai traduit spin par spin, plutôt que par rotation, pirouette, vrille ou autres propositions des dictionnaires.

PS (4 septembre 2019) : cet article a été commenté pour le grand public canadien "Le sens de l'éxagération" par JF Cliche le 22 août. L'article est clair. L'auteur confond le JAMA et le JAMA Network Open dans lequel l'article original a été publié. Je remercie A Perrin qui me l'a signalé.