Plenary de Isaac Kohane, rédacteur en chef de NEJM AI : A Singular Disruption of Scientific Publishing—AI Proliferation and Blurred Responsibilities of Authors, Reviewers, and Editors
I Kohane (ou ‘Zak’) a commencé en expliquant que le système de publication est devenu incontrôlable, en volume d’abord, et en qualité devenue très mauvaise. Tout cela fait que les revues ne trouvent plus de bon relecteurs pour les manuscrits soumis. De ce fait, le peer-review avec IA devient obligatoire !
Isaac Kohane a publié des articles importants dans ce domaine de l’IA dont celui que j’ai commenté sur la comparaison des réponses de 3 IA au même cas clinique (un retard de croissance chez un enfant de 14 ans). Il est co-auteur d’un livre The AI revolution in medicine.
Décisions en 7 jours pour les manuscrits soumis : future norme ?
Avec une conclusion : le NEJM AI journal va prendre des décisions en 7 jours. Le comité de rédaction aura 3 documents : l’avis d’un rédacteur du NEJM (Arjun (Raj) Manrai, PhD, Assistant Professor, Department of Biomedical Informatics, Harvard Medical School), l’avis de ChatGPT5, et l’avis de Gemini 2.5.
Sa diapo ‘Summary’ :
- Croissance du nombre de publications dépassant la capacité humaine à les examiner
- L’évaluation par l’IA est plus efficace que l’évaluation humaine
- Les évaluations/valeurs de l’IA peuvent être manipulées.
- Les attitudes humaines envers la paternité intellectuelle de l’IA sont en pleine évolution ; la tendance actuelle est à une plus grande implication
- Capacités d’analyse des données considérablement accrues grâce à l’IA
- Manipulation et déformation des données massivement augmentées par l’IA
Mes réserves sur le problème d’alimenter les IA avec des manuscrits non évalués disparaissent probablement. Les IA peuvent être utilisées ‘off-line’ ou adaptées aux besoins des utilisateurs. Officiellement, il est possible de ne pas alimenter les IA par ces manuscrits à évaluer.
Cette pratique du peer review avec les IA semble déjà adoptée par des revues de piètre qualité qui ont accéléré les décisions… mais probablement sans l’intervention humaine de NEJM AI !
Je me suis trompé dans un billet d’avril 2025 intitulé : Quand l’IA sera-t-elle utilisée pour remplacer le peer review ? Probablement dans moins de 5 ans.
