Nous avons présenté un article montrant que les articles retirés de la littérature avaient un impact modeste sur les revues systématiques et méta-analyses. Il s’agissait d’un article de fin mars 2025 dans le JAMA Internal Medicine par une équipe française. The BMJ, un mois plus tard a publié un article dans le même domaine pour analyser l’impact des essais cliniques rétractés sur les revues systématiques et l’impact de ces revues systématiques sur les recommandations de pratiques cliniques. L’article est accompagné de deux éditoriaux. Le titre : Investigating the impact of trial retractions on the healthcare evidence ecosystem (VITALITY Study I): retrospective cohort study.
Bien que différentes, ces recherches vont dans le même sens.
Une chaine de contamination des essais rétractés aux synthèses de preuves puis aux recommandations
Il y a beaucoup de données, à partir de 1330 essais retirés de la littérature (essentiellement essais randomisés contrôlés en anglais), puis 847 revues systématiques ayant synthétisés des essais retirés avec 3 902 méta-analyses qui ont été reproduites… Quel travail avec deux équipes indépendantes ! Auteurs chinois, australiens, canadiens, américains, anglais… Ce sont 68 revues systématiques avec des conclusions influencées par des essais retirés qui ont été utilisées dans 157 recommandations de pratiques. Il y a beaucoup de données… Je reprends le premier paragraphe de la discussion (merci DeepL) : Dans cette étude, une enquête empirique à grande échelle basée sur la recherche de citations a été menée pour évaluer la cascade de contamination potentielle des essais rétractés dans l’écosystème des données probantes. Les résultats suggèrent qu’en moyenne, un seul essai rétracté contamine potentiellement environ trois revues systématiques, et que chaque revue systématique dont les méta-analyses sont contaminées par des essais rétractés contamine à son tour près de trois recommandations de pratique clinique en langue anglaise. En outre, pour les méta-analyses dans lesquelles des essais rétractés étaient présents, l’exclusion ultérieure des essais rétractés a entraîné une modification de la direction des effets pour 8,4 % des méta-analyses, une modification de l’ampleur de plus de 50 % pour 15,7 % des méta-analyses et une modification de la signification de la valeur P pour 16,0 % des estimations d’effets groupés. Nos résultats indiquent également que cela pourrait conduire à des conclusions complètement différentes (par exemple, changement de la direction des effets et de la signification statistique) dans au moins 3,9 % des méta-analyses, avec une contamination subséquente de 157 documents de recommandations.
Des méthodes bien décrites et des suggestions pour diminuer ces biais
Les méthodes sont bien décrites, recherches d’articles rétractés, de revues systématiques à partir de Retraction Watch et 
autres bases. Un diagramme de flux complet, des suppléments nombreux. The retracted trials (89.0%) were not usually multicentre studies, typically received academic funding or failed to report funding sources (89.5%), and were more likely to be unregistered (81.3%); these findings are in accordance with previous studies. Environ 40 % des revues systématiques ont inclus des essais rétractés après la réalisation de la revue (donc 60 % avant qui auraient dû être évités !!). Une image ci-contre montre les chemins de contamination.
Les auteurs de revues systématiques, de recommandations de pratiques cliniques devraient être attentifs et ne pas citer d’articles rétractés !! Il faudra attendre les propositions du projet INSPECT-SR pour mieux identifier ces essais problématiques. Des commentaires rejoignent la pratique du JAMA qui signale les revues systématiques incluant des essais rétractés, avec un commentaire sur la modification ou non des données principales si l’essai est enlevé. L’information automatique des auteurs ayant cité un article rétracté est bientôt une réalité. Plusieurs outils arrivent, dont RetractoBot: alerting authors when papers they cite are retracted.
Parmi les limitations, les auteurs citent : ils n’ont pas toutes les recommandations de pratiques, ni tous les articles rétractés, ni toutes les revues systématiques ; et surtout : our study did not include patients or members of the public. This may have some potential downsides on subsequent dissemination, which we plan to overcome through extensive use of lay friendly material for social media, both in Chinese and in English.
