Cet article de PLOS ONE publié en février 2024 rapporte une recherche faite par deux chercheurs suisses (Genève). J’utilise parfois ces traducteurs et j’ai constaté que je diminuais (correction faite pour enlever la faute) légèrement les fautes de grammaire.
En bref, les méthodes : ‘Then, in spring 2022, we selected all MTs allowing the translation of at least 5,000 characters from French to English for free. Three MTs met these criteria : DeepL ; Google Translate ; CUBBITT (Charles University Block-Backtranslation-Improved Transformer Translation). At the time of the study, DeepL was free up to 5,000 characters, and 26 languages were available for translation; Google Translate was also free up to 5,000 characters, and over 100 languages were supported; CUBBITT had no character limit, but only six languages were available, including French and English.
Je ne connaissais pas l’indicateur utilisé : We selected nine metrics of Recall-Oriented Understudy for Gisting Evaluation (ROUGE) [19–21], namely ROUGE-1 recall/precision/F1-score, ROUGE-2 recall/precision/F1-score, and ROUGE-L recall/precision/F1-score.
Je remercie Anne Depaigne-Loth
8 commentaires
« je diminuait légèrement les fautes de grammaire. »…?
Bien amicalement…
Pas d’excuse !!! Je vous remercie car je ne supporte pas mes fautes…. Corrigé pour les futurs lecteurs
URL de l’article: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0297183
Traduction de la conclusion par CUBBITT (dans l’autre sens donc) suivie de la traduction par Bing/Copilot (GPT4).
Dans ce cas précis, je préfère la version GPT. Erreur de CUBBITT sur la dernière phrase (« Further studies would be needed to evaluate the performance of MTs with full articles and languages other than French. »)
Notre étude fournit un examen approfondi de la performance des MTs—DeepL, Google Translate et CUBBITT—dans le contexte spécifique de la traduction des résumés de recherche médicale du français vers l’anglais. Cette évaluation ciblée contribue à une compréhension nuancée de l’applicabilité de ces outils dans le domaine médical. Nous avons non seulement évalué l’exactitude des traductions à l’aide de paramètres établis, mais nous nous sommes également penchés sur la fluidité du texte traduit. Notre étude vise à mettre en lumière l’utilité pratique des MTs pour les chercheurs non anglophones en médecine.
Nous avons constaté que les trois MT présentaient un rendement similaire lorsqu’ils étaient testés avec ROUGE, mais CUBBITT était légèrement meilleur que les deux autres en utilisant l’évaluation humaine. Nous avons également constaté qu’en termes de qualité stylistique, CUBBITT avait tendance à être plus performant que le texte original anglais.
Bien que l’étude se soit limitée à l’analyse de résumés publiés dans des revues médicales générales et qu’elle n’ait pas évalué le temps requis pour la post-édition, nous croyons que les chercheurs francophones pourraient tirer profit de l’utilisation de DeepL, Google Translate ou CUBBITT pour traduire en anglais des articles rédigés en français. D’autres études seraient nécessaires pour évaluer la performance des MTs ayant des articles complets et des langues autres que le français.
—
« Notre étude propose un examen approfondi de la performance des MTs—DeepL, Google Translate et CUBBITT—dans le contexte spécifique de la traduction d’abstracts de recherche médicale du français vers l’anglais. Cette évaluation ciblée contribue à une compréhension nuancée de l’applicabilité de ces outils dans le domaine médical. Nous avons non seulement évalué la précision des traductions en utilisant des mesures établies, mais nous avons aussi exploré la fluidité du texte traduit. Notre étude vise à mettre en évidence l’utilité pratique des MTs pour les chercheurs non anglophones en médecine.
Nous avons constaté que les trois MTs se comportaient de manière similaire lorsqu’ils étaient testés avec ROUGE, mais que CUBBITT était légèrement meilleur que les deux autres en utilisant l’évaluation humaine. Nous avons également trouvé qu’en termes de qualité stylistique, CUBBITT tendait à mieux performer que le texte anglais original.
Bien que l’étude ait été limitée à l’analyse des abstracts publiés dans des revues médicales générales et qu’elle n’ait pas évalué le temps nécessaire pour la post-édition, nous pensons que les chercheurs francophones pourraient bénéficier de l’utilisation de DeepL, Google Translate ou CUBBITT pour traduire des articles rédigés en français vers l’anglais. Des études complémentaires seraient nécessaires pour évaluer la performance des MTs avec des articles complets et des langues autres que le français. »
EXCUSES…. je vais revoir le billet… Je suis dans une zone de montagne où internet a sauté pour quelques jours !!!! et ce billet est parti automatiquement et non terminé !!!
Merci pour ce commentaire….. Yves, très beau travail…. MERCI MERCI
Je reprends le 21 ou 22 car je dois faire 30 X 2 km pour trouver internet !!!!
Je me suis amusé à faire traduire par Google Translate (allemand > français) la phrase de Schiller (dans Die Jungfrau von Orleans) « Mit der Dummheit kämpfen Götter selbst vergebens ». Voici le résultat : « Les dieux eux-mêmes se battent en vain avec stupidité ». (pour les non-germanistes, l’auteur a voulu dire : « Contre la stupidité, les dieux eux-mêmes se battent en vain », phrase qu’Asimov a utilisée comme titre d’un triptyque de nouvelles). Je vais essayer avec Cubbitt…
Et bonnes vacances à la neige, cher ami !
Intéressant +++
Deepl allemand -> français
Les dieux eux-mêmes luttent en vain contre la stupidité
deepl allemand anglais
Gods themselves fight in vain with stupidity
ou
Gods themselves fight stupidity in vain
donc « avec » et « contre » peuvent être synonymes comme dans les paroles d’Akhenaton
je me bats avec mes démons
Merci… Il faut toujours bien relire les traductions.