Je me trompe en pensant que l’IA ne devrait pas remplacer les reviewers des articles. C’est un éditorial incroyable dans Nature Biomedical Engineering en juin 2024 avec le titre ‘The advent of human-assisted peer review by AI‘. J’ai repris le sous-titre de l’éditorial pour faire le titre de ce billet. Internet n’a pas fait exploser le monde académique : L’Intelligence Artificielle (IA) va-t-elle le faire exploser ? Peut-être bien que oui ?
Un scénario qui fait peur mais réaliste
Cet éditorial commence par un long scénario que je résumé maladroitement. Un manuscrit soumis à une revue est immédiatement soumis à un chatbot qui fait le peer review. D’ailleurs il ne fait pas trop mal, voire parfois mieux qu’un relecteur avisé qui ne contrôle pas tout. Ce chatbot interagit directement avec les auteurs, sans informer le comité de rédaction. Les auteurs apportent des améliorations et peuvent interagir avec l’IA. Ensuite les reviewers humains sont consultés.
Le scénario commence ainsi : Vous recevez une invitation à évaluer un nouveau manuscrit dans votre domaine d’expertise. Le manuscrit a déjà été évalué par des agents IA experts et votre tâche consiste à examiner les résultats de l’évaluation par les pairs. L’interface d’évaluation des manuscrits est multimodale : vous pouvez interagir avec un chatbot rédacteur de la manière qui vous convient le mieux – par vidéoconférence, par la voix uniquement, par des questions textuelles, ou en écrivant ou en dessinant sur du papier ou sur l’écran de votre appareil informatique. Vous n’avez pas besoin de vérifier la clarté du langage, l’exactitude et la rigueur des rapports ou la fiabilité du code ; toute lacune de ce type aurait été corrigée au cours des interactions antérieures entre les auteurs et les agents d’intelligence artificielle.
L’éditorial montre comment l’IA peut vous faire comprendre une image que vous, en tant que reviewer, avez du mal à analyser.
Des positions insoutenables d’ici quelques mois
Comme la plupart des rédacteurs de revues et des politiques d’éditeurs, je pense qu’il ne faut pas utiliser l’IA pour reviewer des manuscrits. Ce n’est pas éthique de mettre un manuscrit dans une IA sans l’autorisation des auteurs de ce manuscrits. Ce n’est pas non plus conseillé d’alimenter ces LLM (Large Language Models) avec des informations qui n’ont pas été évaluées par les pairs. Tout ceci, peut-être vrai ce jour, ne va pas être soutenable. Le barrage va céder.
Robot journals for robot readers
Nous y sommes bientôt. J’ai relu mon billet de fin mai.. il est bientôt obsolète. Il faut nous préparer, et il est temps de relire cet excellent livre de Everett Rogers (1995), sociologue américain, qui définit l’innovation ainsi ‘le processus par lequel une innovation est communiquée, à travers certains canaux, dans la durée, parmi les membres d’un système social’. Je vais le sortir de ma bibliothèque la 4ème édition de 538 pages que j’avais lue avec plaisir.
Je remercie Pierre Rimbaud
3 commentaires
Une réelle nouveauté, une innovation révolutionnaire sera t’elle prise en compte par une IA ou risquerait t’elle davantage d’être « bottée en touche » d’emblée ?
L’histoire des sciences regorge d’exemples d’innovations ou de théories bien trop disruptives ou en avance sur leur temps pour être comprises, adoptées ou vérifiées, et qui ont été bottées en touche bien avant l’avènement de l’IA générative.
Toutefois, la question de fonds qui me semble-t-il devrait aussi nous préoccuper c’est celle des coûts absolument pharaoniques en termes de ressources informatiques, naturelles et énergétiques que cette technologie requiert, et l’explosion des publications qu’elle entraîne déjà. Et ces coûts inciteront encore à l’accroissement de la quantité de publications (et de titres de journaux par la même occasion), sans améliorer la qualité ou la reproductibilité de ce qui est publié. Cette technologie pourrait donc porter une atteinte des plus sérieuses aux objectifs du développement durable.
Alors oui la question de savoir si nous devrions laisser ce barrage céder ou pas me semble tout à fait d’actualité, et merci Hervé pour l’avoir soulevée dans ce billet.
Bien d’accord. Merci, le problème de fond, c’est que les modèles de slow science, de slow professor n’ont pas eu de succès… https://www.redactionmedicale.fr/2018/01/faut-il-lutter-contre-la-culture-de-la-vitesse-dans-le-milieu-academique-the-slow-professor-propose