C’est une question à laquelle je ne sais pas bien répondre. Pour l’instant, comme d’autres collègues et institutions, je suis réservé voire opposé à l’utilisation de l’IA pour évaluer des manuscrits. Nourrir des IA avec des manuscrits non validés ne me semble pas acceptable… Mais l’IA peut relire et l’IA sera utilisée 
par certains éditeurs… et pas seulement les revues prédatrices et revues de piètre qualité ! Plusieurs billets du blog Scholarly Kitchen apportent des arguments, dont le dernier billet du 9 octobre 2024.
Essoufflement du peer-review
Beaucoup a été écrit sur les défauts du peer-review, tout en considérant que nous n’avons pas de système meilleur pour évaluer des manuscrits… Avec l’augmentation rapide du nombre d’articles publiés chaque année, et un réservoir de relecteurs limité, nous observons des difficultés pour recruter des relecteurs, une grande fatigue et peu de motivation des relecteurs. Il n’y a toujours pas de valorisation de leur travail, valorisation financière ou académique. Et je ne discute pas tous les biais humains, les convenances sociales entre les acteurs de la recherche…
Améliorer le peer-review
Tout a été tenté, de la formation des relecteurs à l’attribution de crédits, voire de payement. Ouverture avec mise en ligne des avis des relecteurs pour valoriser ce travail.. Des estimations sur le volume de travail des relecteurs existent : chaque année, ce sont 130 millions d’heurs (environ 15 000 années de travail). Donc l’IA apparaît comme une innovation !!!
Avantages et inconvénients d’utiliser l’IA pour évaluer des manuscrits
Les avantages sont nombreux : corrections orthographiques, grammaticales, détection des plagiats et surtout obtention des avis en quelques minutes. Les avis peuvent être structurés, etc.. pour une utilisation par le rédacteur en chef puis les auteurs. Des expériences ont été publiées, et plutôt concluantes en étant très très prudent. L’IA fait parfois mieux que l’homme… mais il faut savoir manier ChatGPT4 ou autres IA génératives. Donc l’IA peut améliorer la qualité des articles.
Inconvénients : les IA génératives ne sont pas assez entrainées pour le peer-review et surtout n’ont pas les données pertinentes pour bien évaluer des manuscrits. Faut-il fournir les articles récents pour aider le travail des IA. Les questions de confidentialité des données sont majeures. Les NIH aux USA ont prohibé l’utilisation d’IA pour évaluer des projets. Biais et hallucinations existent.
Nombreuses expérimentations
Le billet de Scholarly Kitchen liste et donne accès à de nombreux projets en cours. C’est rassurant. Un projet est détaillé dans un autre billet. L’idée dans ces projets est plutôt d’assister les relecteurs et les rédacteurs en chef et pas de les remplacer. La plupart des éditeurs travaillent sur les relectures avec IA et des expériences ont été publiées. Par contre, je pense que des éditeurs de piètre qualité ont déjà introduit des IA génératives pour remplacer et non pas assister les relecteurs… mais je n’ai pas la preuve.
A suivre….
