Bon départ à Chicago du 10 ème congrès sur le peer-review dans les publications scientifiques. J’ai présenté le programme dans un billet précédent. Il y a une dizaine de français dans la salle. Congrès hybride, très bien organisé avec la plupart des rédacteurs des revues biomédicales prestigieuses. Les présentations et discussions sont transcrites par une IA et projetées dans la salle. Un principe : même temps de présentation et de discussion pour chaque communication orale. Le livre des abstracts est ‘à l’ancienne’, sous format papier et fait 224 pages. La version électronique a été mise en ligne ce matin, car des présentations étaient sous embargo. Très riche en informations et bien édité avec environ une page par présentation, avec au moins une illustration ! Des messages sur BlueSky.
Un malaise : la communauté scientifique ne réalise pas quelle est la qualité moyenne des publications
Les présentations du jour ont été étonnantes avec plusieurs analyses de la base des 60 000 articles rétractés de la base de RetractionWatch. Plein d’observations montrant des méconduites fréquentes. Personnellement, et en discutant avec de vieux participants (j’ai participé au premier congrès de 1987), nous avons constaté des descriptions montrant la mauvaise qualité des publications. Une constatation : la communauté académique ne semble pas réaliser. Par exemple, des témoignages du type : ‘J’ai informé des chercheurs qu’ils citaient des articles rétractés (sans réaliser qu’ils étaient rétractés), et ces chercheurs ne sont pas concernés… ce n’est pas grave’.
Après une conférence introductive d’Anna Marusic sur les problématiques d’auteurs, la session était consacrée à l’IA. A Marusic a commenté l’article de 1997 (Rennie, JAMA) proposant de remplacer les auteurs par les contributeurs. En pratique, si les contributeurs sont mentionnés, la byline des auteurs reste bien ancrée dans le système. En pratique, il faut augmenter la recherche sur les pratiques d’auteurs.
Peu d’auteurs déclarent utiliser l’IA (toujours moins de 10 %)
Depuis 2023, la plupart des revues ont des recommandations pour que les auteurs décrivent explicitement leur utilisation de l’IA. Il est estimé que plus de la moitié des manuscrits soumis ont utilisé des IAs. Plusieurs présentations ont été faites à partir de grands échantillons d’articles de revues prestigieuses :
Parmi 49 journaux du groupe BMJ : A total of 1431 of 25,114 submissions (5.7%) disclosed AI use.
A partir de 160 réponses en Chine : In this study, nearly 60% of Chinese medical scholars reported use of AI tools in writing and preparing papers, particularly for language translation and polishing.
Parmi 13 revues du groupe JAMA : Of 82,829 manuscripts submitted during the study period, 2257 (2.7%) declared AI use. Authors’ use of AI increased from 1.6% in September 2023 to 4.2% in May 2025 (r2 = .34; P < .01).
Les auteurs et quelques problèmes d’intégrité
Présentation folle de Tim Kersjes, responsable intégrité chez SpringerNature, qui a donné des détails sur 55 articles soumis par des paper mills et publiés par 4 revues scientifiques. Incroyable, car il a décrit les compromissions entre auteurs (ou supposés auteurs) et relecteurs suggérés par ces auteurs… et en fait ces personnes ne semblent pas exister..
Présentation très discutée montrant faite à partir de la base de RetractionWatch avec 65 658 articles rétractés : dans ces articles le premier auteurs et les derniers auteurs étaient des femmes dans environ 25 % des cas. Ce chiffre est inférieur aux nombres de publications par des femmes. L’hypothèse serait que les femmes seraient plus intègres que les hommes.. séduisant mais à prendre avec précaution, d’après les questions de l’auditoire. Cette présentation était une actualisation de donnés publiées en 2013 dans PLoS ONE.
Une présentation montrant que quand des auteurs demandent des changements après publication, il y a souvent des problèmes d’intégrité ou de paper mills.
Présentation de Reese AK Richardson, premier auteur d’un article très commenté dans PNAS en août 2025. Et je n’ai pas encore fait de billet sur ces observations inquiétantes.. avec ce titre The entities enabling scientific fraud at scale are large, resilient, and growing rapidly
Anna Abalkina a évoqué le cas de Tanu-pro, un paper mill très actif. The study detected 1517 papers published between 2017 and 2025 in 380 journals and coauthored by more than 4500 scholars from 46 countries and over 460 universities. While a problematic email was not definitive proof of malpractice, there was evidence that some Tanu.pro papers were associated with an author number anomaly
Et une dernière présentation sur des megas-cas par l’équipe de PLoS. Le début des résultats : Entre 2021 et 2024, PLOS One a détecté 50 méga-cas qui ont impliqué au total plus de 7 000 soumissions et publications, avec des préoccupations concernant notamment les paper mills (42 % ; 21 sur 50), la paternité des articles (22 % ; 11 sur 50), l’évaluation par les pairs (52 % ; 26 sur 50) et la conformité aux politiques (12 % ; 6 sur 50). Les méga-cas couvraient plusieurs domaines de recherche, les plus représentés étant les sciences physiques et l’ingénierie (42 % ; 21 sur 50) et la médecine et la santé publique (18 % ; 9 sur 50). Et la conclusion : Les problèmes d’intégrité à grande échelle ont considérablement augmenté ces dernières années, touchant un large éventail de domaines et de zones géographiques. Grâce à diverses approches, PLOS One a amélioré la détection et le rejet avant publication des contenus liés à des méga-cas. Cela permet de réduire le volume de publications peu fiables, les ressources nécessaires pour traiter ces problèmes d’intégrité et l’impact des méga-cas sur l’évaluation par les pairs. De telles approches préventives évolutives sont essentielles à la viabilité à long terme du travail sur l’intégrité à une époque où les activités de production massive d’articles scientifiques sont en augmentation.
2 commentaires
La métascience est une discipline dont l’importance épistémique devient aussi gigantesque que le volume de données qu’elle doit étudier et la complexité des innombrables problématiques qu’elle révèle. Il est donc clair à mon sens que l’IA, loin d’être une ennemie de la science, est l’alliée la plus indispensable de la metascience.
Les utilisations de l’IA dans le domaine de la publication scientifique sont assurément critiquables, notamment parce qu’elles sont très variées, généralement obscures et souvent inadéquates. C’est évidemment du à la nouveauté de ces pratiques auxquelles les chercheurs sont d’autant plus mal formés que leur usage manque encore totalement d’un corpus académique théorique et pratique, donc de références universitaires et professionnelles véritables (et opposables). Je suis pour ma part optimiste : ça ne saurait tarder désormais.
Dans le domaine métascientifique, l’IA est assurément l’outil crucial. On peut penser que les spécialistes de cette discipline vont être les tout premiers à décrire les différents usages recommandés et à définir explicitement les bonnes pratiques (et les mauvaises).
L’IA n’est ni plus ni moins qu’un instrument de plus dans l’arsenal des outils scientifiques. Elle est donc utilisée par les chercheurs comme tous les autres outils : plus ou moins bien – et parfois très mal par incompétence voire par méconduite. Qu’il s’agisse de méthodologie statistique, expérimentale, technique, déontologique ou réglementaire, les erreurs sont innombrables et les fautes non rares. Ne soyons donc pas surpris que l’adjonction de l’IA requière autant de circonspection que d’esprit critique, dans les méthodes de compilation et d’analyse des données (expérimentales et bibliographiques) comme dans les méthodes de synthèse et de rédaction des publications. Je crois sincèrement que ce sera (très) laborieux, mais grâce à des gens comme Hervé (et ses comparses de Chicago) l’IA est l’avenir de la science, avec ses risques réels et ses bénéfices considérables.
Pour compléter cette réflexion, j’ajoute que l’Agence du Numérique en Santé… fait ce qu’elle peut :
https://ans-formation.coorpacademy.com/dashboard
On est encore loin des besoins exprimés plus haut, qui devront être opérés par des structures plus spécialisées.