Cette étude publiée dans JAMA Internal Medicine le 31 mars 2025 confirme des données existantes mais apporte d’autres réflexions. Parmi elles, la surveillance des références à des articles rétractés dans les revues systématiques… et les rédacteurs du groupe JAMA vont ajouter des corrections du type : “This meta-analysis was published before 1 of the included studies [reference] was retracted. A reanalysis without that study does not affect the reported results.” Quelles revues feront de même ? Cochrane Database of Systematic Reviews certainement et bientôt les revues des éditeurs ayant des moyens… Des éditeurs, par exemple Springer Nature, ont des détections des références non pertinentes dans les manuscrits soumis.. dont les articles rétractés cités en référence.
Un travail énorme et de qualité par une équipe française
Les auteurs sont connus avec l’équipe d’épidémiologie de l’Hôtel-Dieu, Paris (I Boutron, Ph Ravaud) et la participation de Guillaume Cabanac, Toulouse, pour les détections automatiques dans d’énormes bases, comme celle de Dimensions avec 
130 millions d’articles. Si vous lisez l’article, regardez aussi les suppléments électroniques de qualité. Article bien écrit, avec un diagramme de flux partant de 2 909 articles identifiés comme citant un article rétracté (2013 à 2024) pour terminer avec 50 revues systématiques incluant 173 méta-analyses. Parmi les relecteurs, Ivan Oransky de RetractionWatch.. logique.
Les findings des key points : This systematic review and meta-analysis identified 50 systematic reviews with 173 meta-analyses, each including at least 1 retracted study, published in 25 high–impact factor journals and calculated the effect estimates evolution rate for 163 meta-analyses (64 assessing the systematic review primary outcomes). For primary outcomes, effect estimates changed by at least 10% in 42% of meta-analyses, 30% in 25%, and 50% in 19%; overall (n = 163), effect estimates changed by at least 10% in 35%, 30% in 19%, and 50% in 14%.
Un éditorial de rédacteurs du JAMA accompagne l’article
J’ai trouvé cet éditorial bien écrit et décidé d’en traduire des extraits en vérifiant DeepL :
Dans ce contexte, l’étude de Grana et al nous éclaire. Les auteurs abordent la question clé de l’impact des rétractations sur l’ensemble des données probantes. Ils ont identifié 61 revues systématiques avec méta-analyses qui avaient inclus au moins une étude rétractée dans une méta-analyse. Parmi celles-ci, seules 11 ont été republiées, rétractées ou retirées par la suite. Après avoir examiné les 50 revues restantes, qui comprenaient 173 méta-analyses, Grana et al ont répété les méta-analyses en excluant les études rétractées. Ils ont constaté que l’ampleur de l’effet recalculé se situait dans l’intervalle de confiance de la méta-analyse originale (qui avait inclus l’étude rétractée) dans 96 % des revues systématiques, mais que la signification statistique des résultats avait changé dans 18 méta-analyses (11 %). Lors de l’évaluation des résultats primaires dans 64 méta-analyses, ils ont également constaté que l’inclusion des études rétractées modifiait les estimations de l’effet d’au moins 10 % dans 27 méta-analyses (42 %), de 30 % dans 16 (25 %) et de 50 % dans 12 (19 %). Par conséquent, les études rétractées peuvent avoir eu moins d’influence sur la question de savoir si l’intervention a marché, mais plutôt sur l’ampleur de l’effet (c’est-à-dire l’efficacité de l’intervention).
Que pouvons-nous faire pour minimiser l’impact des rétractations ? Il est utile de tenir compte de la date de publication de la revue systématique par rapport à la date de rétractation des essais concernés. Sur les 50 revues de l’analyse primaire, il convient de noter que les rétractations des essais ont eu lieu avant la publication de 13 des revues systématiques. Dans ce cas, la question clé est de savoir comment la recherche d’essais a été effectuée. Étant donné que le statut des essais rétractés n’est pas toujours clair dans les bases de données bibliographiques, il est important que les auteurs des revues systématiques utilisent des approches complémentaires pour vérifier si les études ont été rétractées. Il serait utile d’ajouter des stratégies spécifiques d’identification des rétractations aux lignes directrices existantes en matière de revues systématiques (par exemple, les checklists PRISMA, Cochrane). La récente recommandation du groupe de travail Communication of Retractions, Removals, and Expressions of Concern (CREC) de la National Information Standards Organization de faire précéder le titre de tous les articles rétractés du mot « RETRACTED » peut également aider les auteurs à identifier les études qui ne devraient pas être incluses dans les revues systématiques.
Inversement, la majorité des études de l’échantillon inclus par Grana et al ont été rétractées après la publication de la revue systématique. Les auteurs ont identifié 37 revues de ce type, avec une médiane de 31 mois entre la publication de la revue et la rétractation ultérieure de l’étude primaire. Dans ces cas, les auteurs de la revue et les journaux ont tous deux un rôle important à jouer. Il est important que les lecteurs sachent qu’une revue systématique inclut une étude qui a été rétractée par la suite. En l’occurrence, trois des revues systématiques de l’étude de Grana et al avaient été publiées par deux revues du réseau JAMA. Dans chaque cas, la nouvelle analyse excluant les articles rétractés n’a pas affecté les résultats de la revue systématique publiée à l’origine. La correction suivante a été ajoutée à chacun de ces trois articles, avec l’accord des auteurs : « Cette méta-analyse a été publiée avant que l’une des études incluses [référence] ne soit rétractée. Une nouvelle analyse sans cette étude n’affecte pas les résultats rapportés. » Il n’est pas toujours possible pour les auteurs de répéter systématiquement leurs analyses après avoir exclu une étude rétractée, et les réponses varieront d’un cas à l’autre. Toutefois, les revues devraient envisager d’ajouter des corrections (lorsque les réanalyses sont possibles) ou d’informer les lecteurs qu’une étude rétractée a été incluse dans la revue systématique publiée à l’origine.
PS : dans le cas de J Boldt, enlever des articles rétractés d’une méta-analyse a changé la conclusion : le risque de mortalité et d’insuffisance rénale avec l’hydroxyethyl starch devenait évident… alors qu’il n’existait pas avec les articles de Boldt inclus dans la première revue systématique avec méta-analyse !
Félicitons D Larousserie pour son article dans Le Monde.
