L’IA pour la publication et le peer review : le meilleur et le pire

Les articles sur l’Intelligence Artificielle (IA) sont de plus en plus nombreux et j’ai choisi un article déjà vieux (août 2023)

Un listing d’outils IA dans une revue générale

Cet article a été publié par Learned Publishing début 2024 (online août 2023) par deux chercheurs basés en Angleterre. Le titre : Artificial intelligence to support publishing and peer review: a summary and review.

1. Identifier des journaux pour soumettre un manuscrit : nous avons beaucoup d’outils anciens qui sont améliorés avec l’IA. Il y en a dix décrits et commentés. Plutôt que les lister, je vous suggère de mettre ‘journal selectors’ dans un moteur de recherche. J’en ai testé certains avec une satisfaction de 50 %. Ils sont utiles.
2. Contrôle qualité des articles soumis : les rédactions s’outillent beaucoup car les journaux reçoivent des articles bidonnés, et les détecter est difficile. Pour le plagiat, iThenticate est le plus utilisé (mais il a quelques compétiteurs comme Justdone), avec le Problematic Paper Screener de G Cabanac et Cyril Labbé qui détecte les ‘phrases torturées’ suspectant qu’une IA a participé à la rédaction. Pour détecte aussi les articles ‘IA’, il y a le ‘Robot author detection’ ; des outils s’intéressent aux méthodes avec Methods checking. SciScore ou RobotReviewer (essais randomisés) ; pour les statistiques, il y a Automated statistical checking, StatReviewer ; pour l’accès aux données, la transparence, il y a Dimensions Research Integrity preCheck ; pour évaluer si un article suit les lignes directrices, il y a Manuscript structure checking avec Penelope.ai ; pour la vérification des références, il y a Recite ; d’autres encore : Frontiers IA Review Assistant, UNSILO Manuscript Evaluation, AuthorOne.
3. Identifier des relecteurs pour évaluer les manuscrits soumis : dans ce domaine, l’IA fait bien. Citons : Clarivate’s Reviewer Locator, Reviewer Discovery, Elsevier’s EVISE, Frontiers Coronavirus Reviewer Recommender.
4. Evaluer un manuscrit soumis : ce n’est pas encore performant. Citons ReviewAdvisor listé dans l’article, mais j’en ai vu d’autres, et la démonstration de ELIZA surprend.
5. Prendre les décisions à partir des évaluations des relecteurs : beaucoup de discussions sur ces outils qui font une synthèse des avis des relecteurs pour prendre une décision d’acceptation ou refus. Citons PeerRead, Peer Judge,..
6. Pour le PPPR (Post Publications Peer Review), l’article commente Publons, Facultyopinions (précédemment F1000Prime)

Qu’en penser ?

L’article est bien fait, car outre ce listing, tous ces outils sont commentés par les auteurs…

Tout va vite : avez-vous testé des systèmes ? En connaissez-vous d’autres ? Ce sont souvent des start up et tout bouge vite.. avec des liens instables. C’est une compétition féroce entre sous-traitants qui cherchent à vendre leurs produits aux éditeurs, qui eux-mêmes ont leurs développement internes avec parfois 1000 ingénieurs, voire plus.