Le collège invisible
Voici le début d’un article du Monde Sciences (2 octobre 2024) par David Larousserie : ‘Ils sont venus à Paris de Nouvelle-Zélande, d’Australie, des Etats-Unis, d’Allemagne, de Suisse ou de Majorque. Ils et 
elles sont les membres de l’autobaptisé « Collège invisible », groupe d’experts scientifiques à la sauce Avengers ou Ligue des gentlemen extraordinaires destiné à lutter contre le Mal. Ici, il s’agit non de sauver la planète, mais de « décontaminer la littérature scientifique », comme l’indique le titre de leur symposium qui s’est tenu, à huis clos, du 17 au 19 septembre.’
Le projet NanoBubbles est financé par la communauté européenne (ERC, European Research Council). Nous l’avons présenté il y a un an car R Lévy avait présenté le projet dans Nature Reviews Physics. L’objectif est de rendre la science plus rigoureuse… vaste programme.
Colloque à huis clos
Il faut respecter, voire encourager, le travail de ces lanceurs d’alerte qui forment un réseau pour se tenir informés. Des informations, y compris des comptes rendus de réunion, sont accessibles sur le site du projet NanoBubbles. L’équipe comprend des membres de 8 organisations, dont 5 françaises : Sorbonne Université, Université Grenoble Rhône Alpes, CNRS, Ecole nationale des Ponts et Chaussées, et Université Toulouse III. Le colloque a permis de réunir des experts ‘détectives’ qui ne font pas partie de l’équipe NanoBubles.
The project focuses on how, when and why science fails to correct itself. To understand how the correction of science works or fails, the NanoBubbles project combines approaches from the natural sciences, engineering (natural language processing) and humanities and social sciences (linguistics, sociology, philosophy and history of science).
L’article du Monde se termine ainsi : La traque semble quand même sans fin. D’autant que l’intelligence artificielle (IA) générative facilite la production de faux textes et d’images, difficiles à démasquer. « Et en plus, ces IA apprennent déjà sur des articles “pourris “ », soupire Guillaume Cabanac. A Paris, des liens se sont renforcés et des initiatives communes ont émergé. Pour Cyril Labbé, « ce symposium, ce n’est qu’un début ».
5 commentaires
La traque des publi-poubelles est assurément vouée à être sans fin si l’on ne modifie pas, à l’échelle mondiale, le système éditorial.
Ma position est, depuis des lustres, qu’il faut instituer une entité internationale sous l’égide de l’OMS (qui servira enfin à quelque chose), chargée d’attribuer des labels aux éditeurs scientifiques.
Seuls pourrait alors être retenus pour les carrières académiques les travaux publiés dans les revues classées dans la catégorie supérieure. Il y aurait, bien entendu, plein de droits différents pour les diverses classes.
Bonjour,
bien d’accord. Il est évident qu’il faudra un jour une ‘guide Michelin’ des revues mais comment faire.
J’avais essayé de convaincre COPE il y a 10 ans et proposé des critères pour cela… Mais COPE est géré par les éditeurs.
Outre l’OMS, je pense que le réseau des Académies des sciences, IAP, pourrai aussi jouer ce rôle…. dans leur rapport il y a quelques réflexions timides à ce sujet https://www.interacademies.org/project/predatorypublishing
voire l’UNESCO ???
Il faudrait un réseau de Sociétés savantes ou d’universités pour certifier les revues, mais je ne les crois pas motivés pour cela.
HM
Bien d’accord aussi avec ces suggestions !
Malheureusement, une telle révolution aurait de considérables conséquences pour tous ces organismes académiques contraints par le système à pousser leurs membres, chercheurs et étudiants, à publier à tour de bras pour fournir des preuves du travail qu’on exige d’eux. Tous sont bien contents de trouver rapidement des éditeurs accueillants.
C’est donc bien aux méthodes d’évaluation par les tutelles qu’il faut s’en prendre parallèlement. Les attributions de diplômes et de subsides ne devraient plus reposer sur la quantité de production éditoriale mais sur une qualité qui devrait comporter divers niveaux d’appréciation – fonction des critères explicites de classement des revues.
Il faudrait aussi plus de moyens alternatifs pour évaluer les travaux sans exiger leur publication dans des revues, mais plutôt sur la base d’un rapport d’examen par les pairs qui pourrait être automatisé sur des plates-formes dédiées – à développer pour cet usage explicite.
Tous les travaux doivent être archivés et accessibles, mais seuls quelques-uns sont utiles pour un large lectorat.
Lire les revues est épuisant et fait perdre un temps considérable trier dans l’amoncellement de choses sans intérêt – souvent les plus verbeuses, qui compensent l’absence de nouveauté par une accumulation de redites. On se rend compte toujours trop tard qu’on a (la plupart du temps) été grugé !
Enrichir des profiteurs avec ce système est en outre contraire à la morale et à l’efficience économique.
On ne sortira de ce marasme que par une large et volontariste coopération internationale, décidée à y consacrer le temps qu’il faudra – sûrement encore une ou deux décennies.
S’appuyer sur l’IA me parait une idée intéressante eu égard au nombre croissant de soumissions. Cela permettrait de trier les articles sur la base de la rigueur scientifique et de leur caractère réellement nouveau. Il faudrait un ou deux systèmes d’IA reviewers qui soient reconnus internationalement. Un faible pourcentage d’articles passeraient ce cap de la potentielle reconnaissance d’intérêt pour l’avancement des connaissances . La confirmation pourrait ensuite être obtenue par un reviewing classique. Cela permettrait d’éliminer d’emblée un grand nombre d’articles.
Une autre option serait de placer un filtre post-publication sur PubMed en signalant qu’une analyse IA a identifié des manquements majeurs ou du plagiat.
Par ailleurs, sur un autre plan, je suis un peu surpris que 5 des 8 organismes en charge de « blanchir » la science soient français. S’agirait il d’une autre expression de l’arrogance française ? Je n’ose y croire…
Bonjour,
merci pour votre commentaire. Il s’agit d’un projet européen et le 5 / 8 n’est pas un indicateur de l’arrogance française… Heureusement..
Pour le peer review, il existe des IA génératives en développement et elles seront performantes… MAIS mais, il y a des résistances normales : peut-on injecter dans une IA un manuscrit confidentiel non évalué ? Faut-il l’autorisation des auteurs ? Actuellement, les grands éditeurs recommandent de ne pas utiliser l’IA pour le peer review, mais cela ne tiendra pas.
Je reviendrai avec un billet sur les IA pour le peer review
Cdlmt