C’est un éditorial de Isaac Kohane, rédacteur en chef du NEJM AI, qui surprend (18 décembre 2025). Il a créé des fausses données capables de tromper les rédacteurs en chef de revues scientifiques. Le titre The H-Index of Suspicion: How Culture, Incentives, and AI Challenge Scientific Integrity.
Des données fabriquées par l’IA sont convaincantes
Voici la traduction du résumé : L’IA générative facilite considérablement la création de faux scientifiques qui semblent réels : des données convaincantes, des graphiques soignés, voire des études entières qui échappent aux contrôles automatisés et aux évaluateurs humains. Dans cet éditorial, je décris un ensemble de données et une analyse délibérément fabriqués, construits à l’aide d’un modèle d’IA qui a trompé les détecteurs d’anomalies standard. Cet épisode met en évidence un problème croissant : les solutions techniques telles que la blockchain peuvent rassurer, mais elles ne peuvent pas résoudre les pressions culturelles plus profondes qui existent dans le domaine scientifique et qui récompensent la rapidité et la nouveauté plutôt que la rigueur et la vérification. Ce qui pourrait aider, c’est un travail plus difficile consistant à valoriser la reproductibilité, la transparence et la rigueur, car l’IA peut amplifier les incitations que nous mettons en place.
Une image falsifiée refaite pour être indétectable
Cet éditorial est facile à lire, court et fait peur. L’idée inventée est que les rétractations d’articles augmentent pour les chercheurs en fonction de leur H-Index. La première image générée par l’IA était détectable comme falsifiée et l’auteur a demandé de refaire l’image et l’IA a produit une image parfaite (voir ci-contre) !
Le « h-index de suspicion » en une idée
-
L’auteur montre qu’avec un modèle génératif, il a fabriqué de toutes pièces un jeu de données simulant une corrélation entre h‑index et nombre de rétractations, avec de « belles » stats (p < 0,001, régression propre, graphiques convaincants).
-
Il montre ensuite qu’il est possible de raffiner ces données fictives avec l’IA jusqu’à ce qu’elles passent sous le radar des détecteurs d’anomalies et paraissent totalement plausibles à des reviewers humains.
Vu avec Perplexity
Au fond, l’épisode raconté par Kohane ne parle pas d’abord d’algorithmes, mais de nous, chercheurs. L’IA ne fait qu’exposer crûment un problème déjà ancien : si l’on demande à un système puissant d’optimiser ce que le système académique valorise (p‑values impeccables, jolies courbes, résultats « positifs »), il va le faire… même si cela signifie fabriquer des histoires fausses mais crédibles.
Autrement dit : si l’on aligne l’IA sur de mauvais incitatifs, elle devient un multiplicateur de fraude, de bidouillage et d’auto‑illusion. Si l’on aligne l’IA sur des incitatifs différents (réplication, transparence, partage des données, documentation des scripts et des décisions d’analyse), elle peut devenir un outil de renforcement de l’intégrité plutôt qu’une menace.
Que dire à un lecteur français, d’après Perplexity ?
Pour des chercheurs français, le message peut être formulé ainsi :
-
oui, l’IA rend la fraude plus facile, plus sophistiquée, plus indétectable ;
-
non, la réponse ne peut pas se réduire à des filtres, des logiciels « anti‑deepfake » ou des blockchains magiques ;
-
la seule protection robuste reste un écosystème qui récompense la rigueur plus que la vitesse, la réplicabilité plus que l’esbroufe, l’honnêteté méthodologique plus que le storytelling.
Tant que nos critères d’évaluation resteront dominés par le volume, la nouveauté et l’indicateur bibliométrique le plus simple, il serait naïf d’espérer que l’IA serve spontanément la vérité plutôt que le bruit. L’« h‑index de suspicion », au fond, c’est cela : non pas un nouveau score bibliométrique, mais un rappel que, face à des résultats trop beaux pour être vrais, notre vigilance devrait croître au même rythme que notre admiration.
Un commentaire
IA pas, des résultats de recherche non reproduits sont sans utilité. Quant aux publications qui (pour diverses raisons) ne permettent pas une reproduction, elles sont même condamnables !
Un intérêt de l’IA est au contraire de révéler des conjectures nouvelles, dont la seule valeur est d’ouvrir un champ de travaux pour les confirmer (stricto sensu : ne pas les infirmer).
J’ai adoré le formidable ouvrage d’Alain Aspect qui dit clairement : ce que j’ai fait, c’est seulement vérifier dans leurs moindres détails, avec rigueur et obstination, les résultats de brillants prédécesseurs. Voilà qui mérite vraiment le prix Nobel ! Tant de prix ont été décernés pour des idées tellement révolutionnaires que leur valeur n’était pas confirmée.