C’est une sorte de prise de position de deux anciens rédacteurs en chef de journaux du groupe JAMA. Notons qu’ils ne publient pas dans le JAMA, ce qui semble sage… Des revues n’acceptent pas les articles des membres de leurs comités de rédaction… c’est une politique raisonnable.
IA et évaluation des manuscrits : INTERDIT pour moi… mais d’autres l’acceptent
C’est dans Health Affairs Scholar que Howard Bauchner et Frederick P Rivara s’expriment sur une question complexe : Est-ce que l’IA va se substituer aux relecteurs d’articles et faire aussi bien voire mieux ? Je reste sur des considérations que je défends, mais qui ne tiendront pas longtemps, à savoir : ‘Il ne faut pas utiliser l’IA génératrice pour évaluer les manuscrits soumis aux journaux scientifiques‘. Le raisonnement est : ce sont des manuscrits confidentiels non évalués qui ne doivent pas être partagés (sans autorisation des auteurs ?) et ces manuscrits peuvent contribuer au corpus des IA génératives, ce qui n’est pas souhaitable;
Que dit cet article de 2,5 pages (mai 2024) intitulé ‘Use of artificial intelligence and the future of peer review‘ ? Première affirmation : le peer review devra inclure l’IA dans son fonctionnement. Il y a quatre parties.
- Effectiveness: l’IA peut contrôler le respect des lignes directrices, détecter des méconduites… Si l’IA est utilisée par un relecteur, transparence exigée ;
- Fairness: l’IA est bien moins biaisée que les relecteurs !!!
- Efficiency: les articles sont trop nombreux, leur volume augmente et les relecteurs trop occupés ne peuvent plus assurer les évaluations.
- The future: un preprint de arXiv a comparé les évaluations de relecteurs avec les évaluations de l’IA pour 3000 manuscrits de 15 revues du groupe Nature… à reproduire..
Des données probantes seront indispensables
Comparer des manuscrits évalués par l’IA seule et des manuscrits évalués par le rédacteur en chef et des relecteurs est important. Il faudrait un nombre suffisant d’article et ne pas considérer quelques cas convaincants. Question de fond : compte tenu de la mauvaise qualité du peer-review, quel sera le gold standard ? Nous manquons de données pour accepter que l’IA remplace les évaluations par les pairs.
Toutes les revues devraient avoir un paragraphe dans leurs instructions aux auteurs. Bien que longues, les recommandations du Journal of Management Studies (mai 2024) sont bien : « En ce qui concerne l’évaluation par les pairs, nous adoptons une approche moins souple. Nous estimons que l’utilisation de l’IA générative n’a pas sa place dans le processus d’examen par les pairs. Nous adoptons cette position, tout d’abord, parce que nous invitons des experts dont nous sollicitons l’avis et le jugement éclairé. Nous attendons de ces personnes qu’elles assument l’entière responsabilité de leur évaluation, et nous pensons que cette tâche ne doit pas être déléguée à d’autres parties, qu’elles soient humaines ou artificielles. Deuxièmement, le processus d’évaluation par les pairs est défini par la confidentialité : il est demandé aux évaluateurs de traiter de manière confidentielle tous les documents non publiés sur lesquels ils travaillent. L’introduction d’un article – ou même des notes des évaluateurs sur un article – dans un système génératif d’IA n’est pas conforme au respect de cet aspect confidentiel du processus de publication, car les informations introduites dans le système peuvent être consultées ultérieurement par quelqu’un d’autre. Les articles non publiés seraient moins fiables que les recherches ayant fait l’objet d’un examen par les pairs et d’une publication. Dans le même esprit, les rédacteurs du JMS ne sont pas autorisés à utiliser l’IA dans le processus de prise de décision éditoriale. Il leur est demandé de ne pas alimenter les plates-formes d’IA avec des documents non publiés soumis au journal, ni avec les rapports des évaluateurs qu’ils reçoivent, et de ne pas utiliser l’IA pour générer des réponses ou des lettres de décision à l’intention des auteurs. Même l’utilisation de l’IA pour relire les lettres des rédacteurs aux auteurs pourrait compromettre la confidentialité et nous attendons des éditeurs qu’ils s’abstiennent de le faire. »
Health Affairs Scholar est un journal lancé mi-2023 avec un modèle d’accès libre et les auteurs payent des FTAs ($ 3150 pour articles de recherche). Très américain :
Health Affairs Scholar, a journal of emerging and global health policy, launched as a fully open access journal in 2023. The journal publishes high-quality, peer-reviewed research from a wide, multidisciplinary community of scholars and policy leaders. In addition to covering core health policy topics of health care costs, access, quality and equity, Health Affairs Scholar highlights innovative translational research in health care technology, population health, and global health.
This is the first new journal published under the aegis of Health Affairs and Project HOPE since 1981 and is published in partnership with Oxford University Press. Kathryn A. Phillips, professor of health economics and health services research, University of California, San Francisco, is the inaugural editor-in-chief.
