Pourquoi Invoxia est passé d'OpenAI à Mistral pour ses wearables pour animaux
Les modèles IA du français Mistral continuent de gagner en popularité. En moins d'un an, la petite start-up parisienne est parvenue à développer des large language model (LLMs) adoptés en un temps record par des entreprises de toutes tailles. Dernier exemple en date : Invoxia. Spécialiste des objets connectés depuis une quinzaine d'années, l'entreprise française s'appuie désormais depuis janvier sur les modèles de Mistral pour générer des rapports de santé pour les animaux. Précisément, à partir des données recueillies par Minitailz, un wearable IA pour animal récompensé au CES 2024 (véritable montre connectée pour nos amis à quatre pattes), la start-up est capable de générer un rapport quotidien et hebdomadaire complet sur la santé du porteur, en l'occurrence un chien ou un chat.
Précisément, le LLM génère un rapport complet chaque jour en se basant sur les données de santé enregistrées par le capteur Minitailz (fréquence cardiaque, fréquence respiratoire, comparaison avec les autres animaux de la même race…). Le rapport semainier consiste en un comparatif des quatre semaines précédentes avec une tendance sur la semaine écoulée. Au total, les utilisateurs de l'application reçoivent 8 rapports par semaine. "Nous croyons beaucoup en ces rapports textuels, car nous pensons que nous ne sommes pas tous ingénieurs ou passionnés par des graphiques complexes avec cinquante couleurs et différents types de figures. Présenter un rapport sous forme de texte aux utilisateurs de nos produits, cela peut vraiment changer leur compréhension des données", justifie Clément Moreau, CEO Invoxia.
Deux modèles différents de Mistral utilisés
Au début de l'expérimentation quelques mois plutôt, Invoxia a basé sa technologie sur les modèles d'OpenAI et plus précisément GPT-4. GPT-3.5 ne permettait pas de traiter avec une robustesse suffisante les nombreuses données qui lui étaient adressées. Une fois le succès des premiers modèles Mistral confirmé, l'équipe a rapidement commencé des tests pour remplacer GPT-4. "Il nous semblait important d'avoir la maîtrise des données des utilisateurs français et européens. Elles doivent rester entre les mains des acteurs français et européens. Même si on ne cède pas directement les données en utilisant ce genre de modèles, les conserver sur notre territoire nous paraissait essentiel. Cela nous paraissait presque comme une évidence. Il y a également un enjeu économique puisque OpenAI n'est pas la solution la moins chère.", détaille Clément Moreau. "Les modèles de Mistral sont environ 4x moins chers que leurs équivalents OpenAI, pour une baisse de performance négligeable pour nos usages", ajoute encore Eric Humbert.
En réalité, au sein de l'application utilisateur, Invoxia utilise deux modèles différents de Mistral, chacun d'eux étant adapté à un cas d'usage spécifique. "Nous utilisons deux versions : la 7B, que Mistral appelle "Mistral of experts" et dont ils ont libéré les poids ; et Mistral Medium, qui lui n'est disponible que sur l'API de Mistral. C'est cette dernière version que nous allons utiliser pour générer les rapports. La version 7B est utilisé uniquement pour générer le statut de l'appareil dans l'application", précise Eric Humbert, directeur scientifique chez Invoxia. Ce statut permet notamment de donner une indication sur l'état d'avancement de la collecte des données.
L'utilisation de l'IA permet de rendre le texte plus vivant. "C'est quand même mieux qu'un texte à trous. Nous sommes face à un véritable langage cohérent, ce qui facilite également la traduction dans toutes les langues", ajoute Clément Moreau.
Un appel direct à l'API de Mistral
Pour ces deux cas d'usage, Invoxia a choisi de rester sur l'API de Mistral (la Plateforme), pour des raisons de coût et de limitation structurelle. D'une part, le faible nombre de requêtes ne justifiait pas l'hébergement complet du modèle 8x7B de Mistral dans un cloud, et d'autre part le modèle medium de Mistral n'est pas disponible en open source. Enfin, le cas d'usage ne nécessitait pas une approche RAG classique, les données de santé étant envoyées directement dans le prompt.
Dans les prochains mois, Invoxia prévoit deux chantiers majeurs côté IA générative. A commencer par l'optimisation des coûts tout en conservant la même qualité de service. "Si nous devions héberger le 8x7B sans l'avoir réentraîné, nous n'arriverions pas à être aussi efficaces. En revanche, si nous réentraînons le modèle avec nos données, nous pouvons utiliser une version plus petite et la faire tourner en interne", développe Eric Humbert.
Enfin, depuis plusieurs mois la start-up a mis en place un chatbot pour répondre aux questions des utilisateurs. Encore basé sur GPT-4 avec un RAG à partir des données de la FAQ, le projet est, là aussi, de switcher pour un modèle de Mistral. "Nous ne l'avons pas – encore - basculé mais il n'y a pas de raison que cela ne marche pas", assure, confiant, le directeur scientifique.