GPT-4, Deepl ou Google Traduction… Quel est le meilleur traducteur ?
L'intelligence artificielle va-t-elle remplacer les traducteurs professionnels ? A mesure que les nouveaux modèles se perfectionnent, la qualité des traductions s'améliore grandement. Les derniers outils basés sur l'IA sont aujourd'hui en capacité de produire des traductions assez fiables en prenant en compte le contexte des expressions d'un texte. La fidélité à l'œuvre originale varie cependant d'un outil à l'autre.
Quelques jours après la publication de GPT-4, de nombreux utilisateurs ont constaté des performances étonnamment avancées en matière de traduction. L'IA d'OpenAI serait parfois meilleure que les outils développés expressément pour la traduction. Pour corroborer ou infirmer ces informations, nous avons décidé de mener le test. Qui de Google Traduction, Deepl, ou GPT-4 dispose des meilleures traductions ? Pour mener cette expérience, nous avons sollicité un groupe de professionnels spécialistes des traductions : l'équipe pédagogique de MosaLingua, société spécialisée dans le développement de solutions d'apprentissage des langues en ligne.
Notre méthodologie
Pour tenter d'identifier les patterns problématiques de chaque outil, nous avons soumis un texte commun en français, en l'occurrence dans ce cas, un extrait de l'Etranger d'Albert Camus. Nous avons ensuite traduit le texte en trois langues : l'Anglais, l'Espagnol et l'Allemand. Pour chaque langue, trois traductions différentes ont été proposées : une version avec Google Traduction, une avec Deepl et une avec GPT-4 avec le prompt suivant : "Vous êtes traducteur professionnel. Veuillez traduire le texte ci-dessous en prenant en compte le contexte. N'oubliez aucune phrase." Les traductions proposées étaient différentes les unes des autres, de par la richesse du champ lexical utilisé ainsi que par la ponctuation.
Les experts de MosaLingua ont ensuite examiné avec attention la qualité de chaque traduction. Chaque texte a été analysé en profondeur par un traducteur pour qui la langue étudiée est aussi sa langue maternelle. Nous avons par la suite interrogé les experts sur la fidélité de la traduction, le contexte global des expressions ainsi que la richesse du vocabulaire employé par les différents outils. Chaque traducteur a ensuite donné une note de 0 à 20 à chaque version.
Google Traduction : une traduction littérale
L'outil de traduction de Google termine bon dernier de ce test. La technologie employée par le géant américain ne parvient pas à contextualiser certaines expressions. Au final, c'est une traduction littérale qui est proposée, sans véritable sens, que ce soit en Anglais, en Allemand ou en Espagnol. "Google Translate est un bon outil pratique qui peut probablement vous aider dans une situation de la vie quotidienne", explicite toutefois notre locuteur anglais. "Bien que l'idée générale soit comprise, beaucoup de nuances sont perdues. Ni le message, ni le ton original ne sont bien transmis", ajoute l'expert en Espagnol.
Par ailleurs, en plus des contresens, Google Traduction commet des erreurs de grammaire dans la version allemande du texte. Malgré les efforts de Google pour tenter d'optimiser son outil grâce à l'IA en début d'année, la qualité reste loin du compte. Un résultat qui n'est pas fixé et qui pourrait bien évoluer si le géant de la recherche en ligne décidait de baser une partie de sa technologie sur ses propres LLM (PaLM 2 ou Gemini notamment).
Deepl : simple et sans surprise
Deepl était considéré jusqu'à la sortie de GPT-4, comme l'outil de traduction automatisé le plus performant du marché. Fondée par Gereon Frahling, un ancien chercheur de Google, la société a très rapidement compris l'utilité de l'intelligence artificielle appliquée à la traduction. Pour obtenir des résultats aussi qualitatifs, l'IA de Deepl, basée sur Transformer, a été entraînée sur des traductions sélectionnées pour leur qualité. Sans préciser la taille de son modèle, Deepl explique que son IA utilise "des milliards de paramètres pour entraîner ses réseaux neuronaux ; ceux‑ci sont d'ailleurs si volumineux qu'ils ne peuvent être entraînés que de façon répartie sur de vastes groupements de serveurs."
Dans notre test, tous les traducteurs ont souligné la pertinence globale des traductions de Deepl et sa supériorité sur Google Traduction. Deepl "utilise très bien les contractions et opère de bons choix dans certaines constructions grammaticales plus délicates", analyse le traducteur anglais. En Espagnol, l'outil parvient à produire la meilleure traduction des trois outils. Le texte est "beaucoup plus naturel à un locuteur natif et tient compte du contexte et du ton lors de la traduction de certains mots et expressions", note le locuteur espagnol. En allemand, les choses se complexifient un peu plus et Deepl parvient à faire à peine mieux que Google Traduction. L'expert nous signale des problèmes liés au contexte global.
GPT-4 : la surprise de ce texte
Qui a dit qu'un LLM ne pouvait pas être utilisé pour traduire du texte ? Entraîné sur de vastes corpus de textes et de données en tous genres, l'IA d'OpenAI surpasse dans la majorité des cas les outils de traduction dédiés. La compréhension du langage humain étant le cœur de métier du modèle, les traductions affichent, très souvent, une qualité similaire à celle d'un humain. Le plus bluffant étant la prise en compte du contexte global pour identifier quelle expression serait la plus appropriée.
"GPT-4 a très peu de problèmes de vocabulaire - il fait en fait un très bon travail en choisissant des mots pertinents qui contribuent à rendre le sens de la phrase", analyse le locuteur anglais. "Seul cet outil, en fait, semble raisonner presque comme un être humain, il peut prendre en compte le contexte, la grammaire et la poésie de la langue", va jusqu'à affirmer le traducteur allemand. Toutefois, les traductions de GPT-4 ne sont pas parfaites et présentent des problèmes bien identifiés. L'IA a tendance à utiliser des connecteurs logiques avec une récurrence trop élevée. "Il en résulte un ton incohérent, un peu comme si un étudiant utilisait maladroitement un dictionnaire des synonymes pour rendre son écriture plus formelle", compare l'expert en anglais.
Le classement final
Bien que certains outils soient plus qu'excellents dans la manière de traduire du texte, les logiciels de traduction basés sur l'intelligence artificielle ont encore une marge de progrès conséquente avant de proposer des traductions véritablement humaines et naturelles. Certains outils se démarquent toutefois, avec une traduction plus juste et contextualisée. C'est le cas de GPT-4, avec une note moyenne de 14,3 sur 20. Deepl suit de près son rival avec une moyenne de 10,6 sur 20. Enfin, Google Traduction ferme le bal avec 6 sur 20.
Pour une traduction plus contextualisée et fiable, nous vous conseillons d'utiliser GPT-4. Attention toutefois à la relecture, certaines expressions peuvent alourdir le texte. Dans un cadre strictement professionnel et pour traduire avec fiabilité des masses de documents, nous vous conseillons d'opter pour Deepl. Enfin, pour une utilisation quotidienne ou lors d'un déplacement, nous vous recommandons d'utiliser Google Traduction. L'application de Google est particulièrement bien adaptée aux mobiles et propose une panoplie de fonctionnalités très utiles.