Nous avons évoqué plusieurs fois SciGen, ce logiciel créé par des étudiants du MIT qui permet d'écrire automatiquement des articles scientifiques : vous rentrez des données farfelues et vous avez un article ! L'embêtant, c'est que des revues ont parfois accepté ces articles bidonnés ! Une expérience d'un journaliste américain, J Bohannon, avait piégé des revues.
RetractionWatch nous révèle, début septembre 2016, que des chercheurs de l'Université de Trieste ont inventé un logiciel qui écrit des avis de lecture automatiquement. Vous introduiser le manuscrit dans une boite noire et vous devez dire si vous acceptez ou refusez l'article. Ils ont décrit leur travail dans un chapitre de livre accessible sur RetractionWatch, intitulé "Your Paper has been Accepted, Rejected, or Whatever: Automatic Generation of Scientific Paper Reviews". Ce chapitre est dans un proceedings (Springer) d'une conférence "Availability, Reliability, and Security in Information Systems".
We proposed a method for the automatic generation of scientific reviews. The method is able to generate a review of a given research paper with a specified overall recommendation. To this end, it performs multiple steps aimed at generating reviews which resemble human written reviews and hence might potentially induce the reader to accept or reject the reviewed paper.
Ils ont testé avec 16 personnes : dans 30 % des cas, l'analyse est considérée parfaite ! Ils sont sages, car ils ne mettent pas en accès libre ce logiciel… dont on se sait pas ce qu'ils peuvent faire réellement ! L'interview de RW est amusante. Le chapitre de livre est un peu difficile à lire… pourquoi des données originales dans un chapitre de livre ?
Qui pourrait l'utiliser ? Scholars who want to take part in many program committees or editorial boards, just to earn the corresponding credits without actually spending time in reviewing papers; or predatory journals interested in inflating their credibility by sending many reviews to authors. In both cases, we are thinking about subjects who commit misconduct.
