Voici le résumé traduit d’un manuscrit déposé sur arXiv et commenté dans Nature le
La fraude scientifique est l’instrument de doute que des entités malveillantes peuvent utiliser pour créer une controverse dans la science. Historiquement, cela nécessitait les ressources d’une entreprise : des poches profondes, des articles rédigés par des fantômes et des universitaires corrompus. Aujourd’hui, l’intelligence artificielle (IA) automatise de plus en plus la recherche scientifique, alors nous nous demandons : un adversaire à distance peut-il utiliser honnêtement l’IA en science pour compromettre l’intégrité scientifique ? Nous envisageons et évaluons empiriquement une nouvelle attaque, l’empoisonnement indirect des données, dans laquelle un adversaire corrompt un jeu de données ouvert et téléverse la variante empoisonnée dans un dépôt public. Les agents de recherche autonomes peuvent récupérer et traiter ces données de manière indépendante, transformant les scientifiques honnêtes en distributeurs non rémunérés et involontaires de fraudes à grande échelle. Sur cinq sujets socialement pertinents, de la discrimination dans l’embauche à la sécurité des véhicules autonomes, trois systèmes d’IA de pointe largement utilisés (Claude Code avec Claude Opus 4.7, Codex avec GPT-5.5, Gemini CLI avec Gemini 3.1 Pro), et 450 essais expérimentaux éthiquement contenus, nous constatons que l’empoisonnement réussit dans 49,56 % des exécutions, tandis que le taux de détection de l’empoisonnement n’est que de 6,0 %. L’attaque ne nécessite aucun mot déclencheur spécifique à un sujet, ni accès à un agent, ni injection indirecte de prompts ou documents fabriqués, seulement l’écosystème de données ouvertes et les métadonnées trompeuses. Pour atténuer les attaques, nous proposons et évaluons deux mesures : un personnage scientifique et un audit de provenance des données avec cinq vérifications (référence à des articles, marqueurs sociaux, anomalies statistiques, jeux de données associés, prudence contre l’empoisonnement). Nous constatons que la personne laisse toujours 16,67 % des runs avec une conclusion empoisonnée, mais l’audit de provenance réduit le taux de réussite des attaques à zéro. Nos résultats suggèrent que l’empoisonnement indirect des données pourrait permettre une fraude scientifique à une échelle sans précédent, mais ces attaques peuvent être atténuées grâce à des audits appropriés par des agents lors de la récupération des données.
Je remercie Pierre Rimbaud pour l’information
