Microsoft veut faire de Cortana un assistant intelligent universel

Historiquement limitée à Windows, l'application s'étend à Android et iOS. En coulisse, Microsoft est en train de bâtir une nouvelle IA pour qu'elle saisisse le contexte des demandes quel que soit le terminal.

Lancé avec Windows 10 en 2015, Cortana se veut initialement à 100% rattaché à l'OS de Microsoft. A l'époque, il permet déjà de lancer, par la voix ou en mode texte, des recherches locales ou sur le web, mais aussi de gérer vocalement son agenda, son calendrier... En parallèle, il introduit une première couche de personnalisation des informations (actualités, météo...) en fonction de l'historique de l'utilisateur : localisation, centres d'intérêt, fichiers manipulés... "Depuis, nous avons repositionné Cortana comme un service potentiellement opérable sur tous les devices, tout en nous donnant les moyens de répondre aux requêtes en fonction du contexte de la conversation", explique Bernard Ourghanlian, directeur technique de Microsoft France.

Face à ce défi, Microsoft a acquis la technologie californienne Semantics Machine début 2018. A partir de cette IA conversationnelle, l'éditeur est en train d'équiper Cortana d'un tout nouveau moteur de traitement automatique du langage (NLP). Une infrastructure qui tire profit du savoir emmagasiné par Bing et son graph de plus de 2,5 milliards d'entités : points d'intérêt géographiques, personnes, objets... Pour saisir le contexte global des échanges, le moteur part d'une analyse du Microsoft Graph et du maillage de liens qu'il tisse entre l'utilisateur, ses terminaux (et leur localisation) et ses thématiques de prédilection.

"Les smartphones sont les terminaux les plus utilisés. Il paraissait logique de commencer par là"

Côté IA, l'édifice repose sur le cloud Azure et ses clusters FPGA, pour Field Programmable Gate Arrays,. L'avantage : bénéficier de processeurs complètement optimisés pour l'apprentissage profond orienté NLP. L'infrastructure atteint une puissance de plusieurs exaflops (rappelons qu'un exaflop correspond à 10 puissance 18 opérations en virgule flottante par seconde). Une puissance nécessaire pour assurer la contextualisation et l'anticipation d'intentions. "Nous cherchons également à donner à cette IA une intelligence non seulement conversationnelle mais aussi émotionnelle avec une capacité à saisir les sentiments de l'interlocuteur", ajoute Bernard Ourghanlian.

Qu'en est-il des premières applications de ce Cortana nouvelle génération ? D'abord, il est intégré à Android et iOS et plus seulement à Windows. Microsoft a même décidé de tester ses nouvelles fonctionnalités d'abord sur les deux systèmes mobiles avant de les intégrer à son propre OS. "Android et iOS sont les terminaux les plus utilisés. Il paraissait donc logique de commencer par là", justifie Bernard Ourghanlian.

Parmi ses toutes premières fonctionnalités, le nouveau Cortana s'intègre à l'agenda d'Office 365, d'Outlook mais aussi à celui de G Suite pour faciliter le pilotage de rendez-vous. Sur le front de la messagerie, il peut par exemple alerter l'utilisateur qu'un de ses correspondants lui demande de le recontacter à telle date. Il intègre aussi, pour l'heure en bêta (sur Android et iOS), la réponse intelligence, ou smart reply, qui s'inspire de la fonction du même nom déployée par Google dans Gmail en début d'année. Sa vocation : proposer plusieurs réponses générées automatiquement à partir de l'analyse du contenu d'un e-mail.

"Nous ne voulons pas forcer nos utilisateurs à recourir à un assistant personnel qui ne serait pas le leur"

"Dans la messagerie collaborative Teams, Cortana peut suggérer d'ajouter des collaborateurs à une réunion (en fonction de leur position dans le Microsoft Graph ndlr), puis à la suite du meeting générer une synthèse des échanges", complète Bernard Ourghanlian. Evidemment, Cortana ouvre la possibilité de paramétrer des routines automatisant des suites de tâches Exemple : vous arrivez au travail, il vous rappelle vos rendez-vous du jour, vos tâches prioritaires, vos deadlines les plus proches...

Enfin, Cortana est équipé d'un SDK (le Cortana Skills Kit) pour développer des applications conversationnelles (ou skills) répondant à des problématiques spécifiques. "Par exemple dans le domaine médical où le vocabulaire technique et scientifique est très pointu et les différences importantes entre les spécialités : pneumologues, chirurgiens, etc.", évoque Bernard Ourghanlian. Pour l'heure, Cortana propose une galerie de 120 skills en anglais.

Ouvert sur Android et iOS, Cortana l'est aussi sur Alexa. En 2017, Microsoft annonçait un accord avec Amazon en vue de rendre son assistant accessible depuis celui du groupe de Seattle. Mi-2018, la passerelle est achevée. "Nous ne voulons pas forcer nos utilisateurs à recourir à un assistant personnel qui ne serait pas le leur", précise Bernard Ourghanlian. Dans la même logique, Microsoft livre un kit de développement pour intégrer Cortana à des appareils de fournisseurs tiers.

Vers une app indépendante de Windows

Dès lors, comment Cortana va-t-il évoluer dans Windows 10 ? Depuis mi-2018, Cortana a été mis en retrait dans le système de Microsoft. Il a été découplé du menu Démarrer et s'intègre dès lors directement à la barre de tâches. Il est également désactivé par défaut au moment de l'installation. "Comparé à Android et iOS sur lesquels nous déployons désormais les nouveautés de Cortana en premier, on est en retard sur la façon d'intégrer Cortana à Windows", reconnait Bernard Ourghanlian. "Mais les choses vont évoluer."

Dans la prochaine version de Windows 10 prévue dans les semaines qui viennent, il sera pour la première fois possible d'activer des assistants vocaux tiers aux côtés de Cortana, ce dernier restant activable dans la barre de tâches.

En revanche dans l'édition suivante de Windows annoncée pour le premier semestre 2020, Cortana deviendra une application indépendante. Elle n'en restera pas moins livrée d'office avec le système. Elle offrira la plupart des fonctionnalités historiques de Cortana sous Windows, comme les recherches Bing, l'assistant conversationnel, l'ouverture d'applications, la gestion de listes et la configuration de rappels, d'alarmes ou de réveil. "Toutes les fonctions précédentes ne seront pas disponibles immédiatement. Mais dans le cadre de cette bêta, nous prévoyons d'ajouter de nouvelles possibilités au fur et à mesure", précise-t-on chez Microsoft (lire le post officiel). Pour l'occasion, Cortana s'éloignera encore un peu plus du bouton Démarrer en passant à droite du moteur de recherche (voir le tweet ci-dessus). Elle prendra aussi l'ergonomie, plus moderne, de ses apps iOS et Android. Son activation, via l'expression "Hey Cortana", fera apparaître une fenêtre moins intrusive, permettant de poursuivre le travail en cours. 

Suivant cette nouvelle philosophie, une app Cortana a fait son apparition dans le Windows Store. Elle permettra de bénéficier de mises à jour de l'assistant proposées indépendamment de celles de Windows. Pour l'heure, elle est téléchargeable uniquement aux Etats-Unis par les personnes ayant souscrit au programme bêta de Microsoft. Sa page sur le Windows Store s'accompagne d'une série de captures d'écran qui précisent les contours du futur assistant (voir l'exemple ci-dessous).