Cet article de Nature du 27 mars 2025 apporte des réflexions et des ressources qui alimentent un débat complexe. J’ai toujours pensé que l’évaluation des manuscrits devait rester une activité humaine.. mais 
je me trompe. Je pense qu’il ne faut pas alimenter des IA avec des manuscrits confidentiels non évalués… mais je me trompe. Je pense qu’il faut l’autorisation des auteurs avant de mettre un manuscrit dans une IA… mais… tout ceci nous met mal à l’aise !
Avez-vous déjà reçu des évaluations de vos manuscrits soumis à des revues ayant été générées par l’IA
La réponse est probablement oui : si vous avez envoyé à une revue prédatrice, le peer-review est pas fait ou fait avec IA ; avec des groupes d’éditeurs de piètre qualité, il y a des témoignages montrant que l’IA est discrètement utilisée. Par contre, dans cet article de Nature, il y a l’expérience d’un chercheur ayant reçu une évaluation contenant cette phrase : “Here is a revised version of your review with improved clarity and structure”. Il a décrit son aventure. Une enquête montre que près de 20 % des reviewers ont utilisé l’IA… J’ai fait un essai avec un outil dédié au peer-review… étonnant mais je ne suis pas totalement convaincu ?
Une enquête (image ci-contre) auprès de 300 ‘computational biologists and IA researchers‘ a montré que 40 % estimaient que l’IA était plus utile ou aussi utile que l’homme pour relire des manuscrits. 42 % moins utile que les hommes… et 17 % beaucoup moins utile… Donc insuffisant pour généraliser l’IA… mais tout va vite… égalité ou supériorité de l’IA dans combien d’années ? Le curseur va bouger… quand ? Dans deux ou cinq ans ???
Les outils pour faire du peer review avec IA sont très nombreux
Hier, j’ai évoqué 3 outils mis en place par Springer Nature pour contrôler les rédactions avec IA, la qualité des images et la pertinence des références. J’ai évoqué Paper-Wizard que nous pourrions utiliser pour nous-mêmes avant de soumettre notre manuscrit… Cette IA ne garderait pas de traces de nos manuscrits !!! Mais il faut une adresse mail professionnelle.
Cet article de Nature liste plein d’autres outils en développement. J’ai vu des démonstrations de certains, mais je ne sais pas lesquels vont survivre :
- Eliza que j’ai vu… Le reviewer dispose d’écrans bien faits, avec notamment une fenêtre proposant des prompts ! Regardez des démos du site.
- Review assistant a reçu un prix. Développé par Enago, semble déjà distribué… je n’ai pas d’infos. Nous pourrons faire le peer review d’articles en chinois !
- Veracity développé par une firme anglaise Grounded AI. Beaucoup d’informations sur le site, avec d’autres outils.
- Alchemist review semble être en test chez des éditeurs. Démo YouTube…
PRUDENCE pour l’instant… mais pour combien de temps ?
Un commentaire
Il me semble que le peer review des articles scientifiques sera très utile pour détecter les plagiats des sources. Mais pas pour valider la pertinence du travail de recherche (l’originalité, la fiabilité des expériences, leur nombre suffisant, leur confirmation, etc ?). Pourtant on entend partout que chatGPT pourra faire le peer review, mais est-ce que cela a un sens ? Au contraire il me semble que seul un vrai spécialiste du domaine pourra détecter le bon grain et la bonne recherche dans l’avalanche des faux ou quasi faux articles qui va bientôt déferler justement avec chat GPT.