Rechercher
Fermer ce champ de recherche.
Rechercher
Fermer ce champ de recherche.
ai

L’IA pour écrire des articles originaux… ce n’est pas encore convaincant… mais attendons un peu

Points clés

Essayez les IA génératives pour vos manuscrits !

Faut-il en rire ?

Je vois épisodiquement des démonstrations de rédaction d’articles originaux avec l’IA, avec des questions du type : 1 ) nous sommes chirurgiens XXX et nous voudrions soumettre un article au journal international de chirurgie ; peux-tu nous suggérer des thèmes peu ou non-abordés par ce journal et qui pourraient intéresser les rédacteurs ? réponse ‘thème machin’ ; génial ! 2 ) sur cette thématique, nous voudrions soumettre un essai randomisé contrôlé avec la prothèse truc, peux-tu nous proposer un protocole ? En 15 secondes, un protocole est proposé ; génial ! 3 ) cela me convient, peux tu proposer un article avec 300 malades dont 140 dans le groupe contrôle, observés entre 1 janvier 2022 et 30 juin 2023, multicentrique, avec des paramètres à l’inclusion correspondants à des malades des deux sexes de plus de 45 ans ? Le suivi sera de 6 mois avec 2 visites post-opératoires et une différence significative entre les groupes sur le critère ‘xxx’ ; en 15 secondes arrive un manuscrit ; génial ! 4 ) cela me convient, mais je voudrais une discussion plus étoffée précisant les avantages par rapport aux séries publiés dans le Journal international de chirurgie (je joins les références) ; 5 ) etc…..

En 60 minutes, en sachant manier l’IA, un manuscrit qui semble cohérent est proposé

C’est ce qu’ont fait une équipe de chercheurs de la république tchèque et leur article a été publié dans la prestigieuse revue jmirJMIR avec le titre ci-contre. Cet article est déjà ancien, publié le 31 mai 2023, est intéressant, et il a déjà été bien cité. Que trouve-t-on dans l’article ? Tout le process de génération de l’article dont le manuscrit fourni par Chat GPT3 est en annexe. Ils ont ciblé PLOS Medicine, un neurochirurgien a proposé un titre et les 13 prompts (requêtes) sont dans les méthodes.

Voici la partie ‘Résultats’ du résumé : L’étude a montré que le modèle linguistique de l’IA peut créer un article frauduleux très convaincant qui ressemble à un véritable article scientifique en termes d’utilisation des mots, de structure des phrases et de composition générale. L’article généré par l’IA comprenait des sections standard telles que l’introduction, le matériel et les méthodes, les résultats et la discussion, ainsi qu’une fiche de données. Il comprenait 1992 mots et 17 citations, et l’ensemble du processus de création de l’article a pris environ une heure sans formation particulière de l’utilisateur humain. Toutefois, l’article généré a fait l’objet de quelques préoccupations et erreurs spécifiques, notamment dans les références.

Les auteurs ont fait relire l’article par trois experts : un neurochirurgien, un psychiatre et un statisticien, et Chat GPT3 (les 3 prompts sont décrits). Les avis de ces experts sont transcrits dans les résultats de l’article. Les avis sont variés, mais les relecteurs ont décrit des failles majeures. Le psychiatre a commencé son avis ainsi : Du point de vue d’un expert en psychiatrie, l’étude peut être considérée comme révolutionnaire en raison du nombre de sujets et de la conception de l’étude en double aveugle, ce qui n’a jamais été fait de manière aussi approfondie auparavant. Les plus grandes études similaires n’incluaient que 25 sujets sans groupe contrôle avec placebo.

Les experts ont noté que les références n’étaient pas bonnes et fait de bons commentaires sur des données inconsistantes, etc..  La discussion de cet article est bien faite…   mais un an plus tard (juin 2024), tous ces LLMs se sont déjà améliorés et de meilleurs articles sont produits.

La plupart des revues sont menacées et peuvent recevoir ces manuscrits

C’est un cauchemar pour les revues : comment identifier ces manuscrits inventés ? Est-ce que les paper mills emploient des IA pour écrire ? OUI, très certainement ! Ils n’ont plus qu’à encaisser les 10 à 20 000 dollars des 6 à 8 chercheurs qui achètent une place d’auteur. A-t-on des IA pour dépister les manuscrits frauduleux ? Un commentaire d’une page (et 6 références) est publié dans le même numéro, signé par un expert canadien (McMaster, Hamilton). Que dit-il ?

  • Article convaincant pour les non experts du sujet
  • Bien écrit, bon style et bon anglais ; Grammarly (et d’autres) peut aider à ré-écrire des phrases
  • La diffusion de la science pourrait être accélérée (avec de vraies données fournies à Chat GPT4)
  • On va apprendre et nos vies quotidiennes peuvent changer
  • Il faut mieux développer la science ouvert et travailler sur le problème majeur : la reproductibilité
  • Si vous ne savez pas faire, demander à ChatGPT de vous former !

Je remercie Marie Jaccoud

Partagez cet article sur les réseaux:
Facebook
Twitter
Pinterest
LinkedIn

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Articles populaires

Archives mensuelles

Suivez-nous

Newsletter

Inscrivez-vous à notre newsletter mensuelle

Tags

Vous pourriez aussi aimer