IA multilingue et réseaux de neurones artificiels : les nouveaux Graal des GAFA

Mais pourquoi la traduction automatique et les innovations associées à NMT sont-elles devenues le nouveau Graal des GAFA ?

L’avenir des GAFA passe-t-il par la traduction automatique ? Jamais un domaine technologique n’a connu autant de bouleversements en si peu de temps. Inventée dans les années 1960, la traduction automatique - jusqu’à 2007- a d’abord été basée sur la modélisation de règles grammaticales et syntaxiques. Les modélisations statistiques (ou traduction statistique, SMT en anglais), devenus suffisamment matures, en particulier grâce à l’abondance des données, ont ensuite pris le dessus. Bien que cette même traduction statistique ait été créée par IBM dans les années 90, elle a mis 15 ans pour accéder à un niveau suffisant pour une mise en production. Signe de l’accélération de l’innovation, la technologie actuelle - NMT ou Neural Machine Translation - a été présentée par le monde universitaire en 2014 et n’a mis que deux ans à être adoptée par l’industrie. La traduction automatique est-elle en train de vivre un âge d’or technologique ? 

Du Big Data au Good Data 

Ces vagues technologiques successives diffèrent également en matière d’atout clé ou "cœur de valeur". Dans la traduction basée sur les règles, la valeur résidait avant tout dans le code et dans les ressources linguistiques accumulées. Pour les modèles statistiques, l’atout était la quantité de données. Plus vous aviez de données, meilleure était la qualité de votre traduction et votre évaluation via le score BLEU (Bilingual Evaluation Understudy), l’algorithme de mesure de qualité le plus répandu en matière de traduction automatique. Depuis, la traduction automatique basée sur les neurones artificiels et sur le deep learning, NMT, est entrée en scène et a créé un nouveau paradigme. Le moteur étant entraîné et apprenant la langue comme un enfant qui progresse, pas à pas, l’enjeu n’est pas tant de traiter des données exponentielles (Big Data) mais de transmettre au moteur les données les plus qualitatives possibles. C’est pourquoi on parle de "good data". 

NMT : la vague de l’Open Source

L’autre révolution de NMT est liée à son socle open source qui vient changer le paradigme de développement de cette technologie. Au cours de ces deux dernières années, deux nouveaux projets open source pour la traduction neuronale ont été lancés chaque mois – et plus impressionnant encore, les acteurs derrière ces projets sont en grande majorité des acteurs privés. Du jamais vu ! Les trois projets les plus actifs aujourd’hui sont maintenus par Google, Facebook et Systran (collaboration avec Harvard NLP sur le projet OpenNMT). Le plus étonnant est qu’avant cela, de grands acteurs tech comme Google, Amazon ou Salesforce n’avaient pas de culture open source active, et en tout cas jamais sur des éléments correspondant à des produits ou des technologies stratégiques. Alors pourquoi ce virage à 180 degrés ? 

Une technologie qui évolue en se calquant sur le modèle humain

En seulement 14 mois, la traduction neuronale a connu trois changements de paradigmes technologiques majeurs. Les premiers modèles utilisaient les RNN (les réseaux de neurones récurrents), puis sous l’impulsion du courant de recherche dirigé par Facebook, ils ont ensuite eu  recours aux CNN (les réseaux de neurones convolutifs). Désormais, ils sont basés sur les modèles SAT (Self-Attentional Transformers) prônés par Google. Les modèles RNN traitaient la traduction de manière séquentielle, mot par mot, alors que les CNN la traitent de manière plus générale, en regardant les séquences de mots. Les approches actuelles SAT - basées sur l’attention - sont en mesure de « regarder » plusieurs parties de la phrase simultanément, en identifiant les mots qui peuvent avoir un impact significatif sur sa compréhension et sa traduction. Il semble donc que nous nous orientions de plus en plus vers une approche calquée sur la compréhension humaine. En témoigne le fait que Facebook a recours à la traduction neurale pour 100% de ses contenus contre 50% en 2017. Plus de 6 milliards de traductions en ligne sont effectuées quotidiennement par le leader des réseaux sociaux.  

Une course à l’Open Source qui masque une compétition 

Un projet open source est fragile : il est facile de lancer une nouvelle technologie open source mais beaucoup plus compliqué de la maintenir, de la faire évoluer et de faire vivre sa communauté. Il est indispensable d’investir beaucoup de temps et de ressources pour soutenir les utilisateurs de sa communauté, partager les données, analyser les retours d’expérience, mettre à jour les algorithmes, assurer la stabilité et la compatibilité de la technologie… Le combat est en réalité bien plus grand que la seule lutte pour imposer un outil spécifique. En effet, la traduction neuronale ou NMT est en train de devenir une commodité comme l’eau courante ou l’électricité. A plus ou moins long terme, elle deviendra probablement une fonctionnalité intégrée dans la majorité des applications du quotidien, pour un prix de plus en plus faible, voire nul. Il y a fort à parier que le cœur de valeur NMT résidera alors dans l’infrastructure qui soutiendra le nouveau standard et dans les services additionnels, qu’il s’agisse de connectivité et d’intégration, ou bien d’entraînement de ces moteurs sur des domaines d’activité très spécifiques, pour une traduction sur mesure et à la qualité optimale. 

Prochaine étape : faire converger les efforts des industriels 

Pour faire de NMT un standard industriel, la prochaine étape reste celle de l’interopérabilité. Porter ces outils NMT d’une plateforme vers une autre est précisément l’objectif de ONNX (Open Neural Exchange). Emmené par Facebook, Microsoft et Amazon, ce projet de standardisation permettra à un modèle entraîné avec un outil particulier d’être convertible vers les autres. Un réseau neuronal sera ainsi disponible sur mobile, quel que soit son Framework NMT d’origine. Cette standardisation et cette ouverture autour de la traduction neuronale favorisent également le développement d'applications connexes dans un esprit de « coopétition ». En témoignent de nombreux développements récents, comme ceux d’assistants virtuels ultra-intelligents, de machine learning non supervisé (instantané) ou destiné à des traductions moins critiques (comme le sous-titrage). Le projet d’ajouter à NMT la notion de contexte est également stratégique. Il permettra à l’algorithme de traiter un paragraphe, voire un document, dans son ensemble (par exemple pour traduire ‘it’ de l’anglais vers le français en retrouvant dans les phrases précédentes à quoi le pronom se réfère). L’aventure Open Source de NMT ne fait que commencer !