La discipline d'anesthésie a été marquée par des fraudes importantes, que ce soient Y Fuji, J Boldt, Y Saitoh, S Reuben et quelques autres. Au total, ce sont plus de 300 articles qui ont été ou doivent encore être rétractés. Les rédacteurs de ces revues sont très attentifs, mais 2017 est encore une grande année dans ce domaine avec des controverses étranges.
En juin 2017, un article de la revue Anesthesia, accompagné d'un éditorial, ont été très médiatisés. Même des articles dans la presse grand public…… De quoi s'agit-il ?
- Un article, avec un seul auteur, J Carlisle, a été publié le 4 juin avec le titre "Data fabrication and other reasons for non-random sampling in 5087 randomised, controlled trials in anaesthetic and general medical journals". Quelques commentaires sur PubPeer. Article compliqué d'un statisticien anglais, représentant un travail colossal, à partir de l'analyse d'essais randomisés de revues prestigieuses : I analysed the distribution of 72,261 means of 29,789 variables in 5087 randomised, controlled trials published in eight journals between January 2000 and December 2015: Anaesthesia (399); Anesthesia and Analgesia (1288); Anesthesiology (541); British Journal of Anaesthesia (618); Canadian Journal of Anesthesia (384); European Journal of Anaesthesiology (404); Journal of the American Medical Association (518) and New England Journal of Medicine (935). La conclusion était qu'environ 6 % des essais avaient des erreurs et que ces erreurs pouvaient être honnêtes ou des fraudes. L'auteur suggérait de revoir ces publications, et de décider s'il fallait les rétracter. La méthode, simple pour des statisticiens, est basée sur des comparaisons de variables à l'inclusion, suggérant que peut-être la radomisation n'était pas correcte.
- Cet article était accompagné d'un éditorial du même jour intitulé "Widening the search for suspect data – is the flood of retractions about to become a tsunami?" Bon éditorial signé par Loadsman, un australien rédacteur de Anesthesia & Intensive Care et McCulloch du même département d'anesthésie de Sydney. Loadsman a déjà publié avec Carlisle sur des cas de fraude en anesthésie. Bon éditorial montrant qu'il faillait examiner tous les essais randomisés publiés, avec en particulier un tableau bien fait avec les 5087 essais, répartis par revues, en fléchant 98 essais qui devaient être fraudés (dont 12 dans JAMA, 9 dans NEJM, et les autres dans des revues d'anesthésie).
En août 2017.. patatras avec des articles remettant en cause la méthode Carlisle et l'accusant de ne pas avoir respecté les principes d'éthique des publications. La controverse est vive :
- Un article signé par 3 américains dans Anesthesia & Analgesia le 3 août et intitulé "An Appraisal of the Carlisle-Stouffer-Fisher Method for Assessing Study Data Integrity and Fraud". Ces auteurs ont discuté la méthode Carlisle, en commençant par rappeler le travail initial : "He (Carlisle) concluded that in about 6% of studies, data comparing randomized groups on baseline variables, before the given intervention, were either too similar or dissimilar compared to that expected by usual sampling variability under the null hypothesis." Ces auteurs ont remis en cause la méthode Carlisle avec 10 points détaillés et précis et ont conclu qu'avant de suspecter des fraudes, il fallait être prudent : "we believe that reporting of suspected data fraud and integrity issues should be done more discretely and directly by the involved journal to protect honest authors from the stigma of being associated with potential fraud".
- Un article accusateur dans Anesthesiology le 21 août et signé du rédateur en chef, ED Kharasch, et du statisticien TT Houle de cette revue, intitulé : "Errors and Integrity in Seeking and Reporting Apparent Research Misconduct". Un paragraphe est clair "Despite the zeal of Anaesthesia, the Carlisle Method does not appear to be valid, nor to have the claimed “proven utility” to screen all randomized trials submitted for publication, and certainly not to reject a priori those with nonrandomly distributed variables. Similarly unfounded is the call that “other journals will follow suit and also screen submissions.” The Carlisle Method is not the “Holy Grail” for detecting fabrication and falsification in scientific publishing.". L'éditorial est bien avec des critiques sur la méthode statistique et sur la façon d'accuser ouvertement d'erreurs ou fraudes sans avertir au préalable les auteurs et revues concernés… contrairement aux bonnes pratiques.
L'histoire n'est probablement pas terminée, avec des conflits entre statisticiens et entre rédacteurs des revues….. Est-ce que les médias qui ont évoqué les premiers articles accusateurs en juin vont relayer les autres articles ?????
PS du 30 août : j'aurais dû citer les analyses de Leonid Schneider sur cette histoire (billets de juin sur son blog)
