Alex Combessie (Giskard) "Maintenant que Giskard est éprouvé auprès des clients français, il s'agit de lui donner une ampleur mondiale"

Alex Combessie est cofondateur et CEO de Giskard, une jeune start-up française spécialisée dans l'audit de systèmes d'intelligence artificielle.

JDN. Qu'est-ce qui vous a donné l'idée de créer une suite d'outils d'audit des modèles d'intelligence artificielle ?

Chez Giskard, nous ne sommes pas des nouveaux venus dans le domaine de l'IA. J'occupais auparavant un poste technique chez Dataiku, où je travaillais sur la conception et la mise en œuvre de systèmes d'IA pour de grandes entreprises. J'y constatais au quotidien des problématiques de qualité dans les projets.

Schématiquement, il y a deux scénarios : soit on ne teste pas les modèles, et on rencontre alors des problèmes en production avec des performances inférieures aux attentes, ainsi que des biais éthiques ou dérives. Soit on essaie de tester, mais ça demande énormément de temps. J'ai vu des projets bloqués pendant parfois plus d'un an le temps de réaliser des benchmarks, rapports de tests, comparaisons de modèles et de construire from scratch ces procédures de test. Je me suis donc dit qu'un outil facilitant ces tests et applicable à la grande variété de modèles d'IA permettrait de gagner beaucoup de temps pour les développeurs, et également de renforcer la confiance des utilisateurs et décideurs. A l'instar des contrôles qualité systématiques dont bénéficient par exemple nos produits alimentaires ou équipements sanitaires, nous cherchons à établir des standards de test équivalents pour les modèles d'IA.

Qui sont vos investisseurs ?

Parmi nos investisseurs figurent quelques noms bien connus dans l'intelligence artificielle, comme Julien Chaumond, le directeur technologique (CTO) de Hugging Face, Oscar Salazar, le premier CTO d'Uber ou encore le CTO d'Alan  Charles Gorintin. Nous comptons également parmi nos investisseurs des profils un peu moins spécialisés dans l'IA, à l'image de la fondatrice de 360 Learning ou de Good In Tech. Au total, nous avons réuni une quarantaine d'investisseurs comprenant quelques pointures du secteur de l'IA.

D'où vient le nom Giskard ?

On nous demande souvent d'où vient notre nom. C'est une référence à l'écrivain de science-fiction Isaac Asimov qui, dans les années 70, avait imaginé le concept des "lois de la robotique". Les robots décrits à l'époque correspondent en quelque sorte aux intelligences artificielles d'aujourd'hui. Asimov explorait notamment l'idée que des lois puissent être intégrées dans le code des robots pour encadrer leur comportement, à l'image des humains régis par des lois. Ce concept fut introduit via le personnage de Giskard dans les romans d'Asimov. Nous avons choisi ce nom en référence parce qu'il symbolise bien la mission de notre entreprise. Giskard avait formulé la "loi zéro" stipulant que les robots ne doivent pas nuire à l'humanité. C'est également notre objectif chez Giskard : développer l'IA de manière éthique et bénéfique.

Quels sont les différents tests réalisés par Giskard et sur quelle variété de modèles d'intelligence artificielle sont-ils appliqués ?

Notre solution permet d'auditer tous les types d'intelligence artificielle : modèles de langage, modèles génératifs, vision par ordinateur, détection de fraudes, modèles tabulaires, etc. Nous avons une approche très holistique pour couvrir tous les cas d'usage de l'IA. Nous prévoyons également de travailler sur l'audit des modèles de recommandation et de séries temporelles dans un horizon de deux ans.

Nous proposons des tests couvrant différents aspects : éthique, performance, sécurité, robustesse, etc. Ces tests sont appliqués avec des logiques adaptées au type de modèle d'IA. Par exemple, pour les grands modèles de langage (LLM), nous analysons des vulnérabilités spécifiques comme les hallucinations. Tandis que pour les modèles d'apprentissage machine (ML) classiques, les vulnérabilités sont de nature différente. Quoi qu'il en soit, notre objectif est de couvrir de façon exhaustive l'éthique, les fuites de données, et tous les risques potentiels, et ce pour tout type de modèle. Nous adaptons les batteries de tests pour cibler les problématiques saillantes selon chaque technologie d'IA.

A quels acteurs se destinent ces audits ?

Nos tests s'adressent avant tout aux utilisateurs finaux des modèles d'IA. Nous travaillons par exemple avec Mistral sur des problématiques amont, mais de manière générale, les enjeux de qualité sont surtout liés au contexte d'application des modèles. Nous collaborons avec des entreprises comme Axa pour auditer des applications RH, ou iAdvize pour des chatbots déployés dans le retail. Dans chaque cas, il s'agit d'applications spécifiques nécessitant des métriques sur-mesure. Notre approche cherche à se focaliser sur les contextes d'usage réels plutôt que sur des tests trop génériques. Les créateurs de modèles globaux ne disposent pas toujours de toute l'expertise nécessaire sur ce qui importe dans le cadre précis du métier d'une entreprise. Pour nous, les risques découlent davantage de la façon dont l'IA est employée que de vulnérabilités intrinsèques aux algorithmes.

Quelles solutions s'offrent aux entreprises qui souhaitent utiliser Giskard pour tester et monitorer leurs solutions d'IA ?

Nous proposons deux types de solutions : ML Testing (librairie Python pour les codeurs) et AI Quality Hub (dashboards visuels pour non-techniciens). Notre coeur de métier est l'assurance qualité. Nous recommandons donc de réaliser les tests avant la mise en production : diagnostic, QA, etc. Mais nous fournissons aussi LLMon (en beta) pour surveiller un LLM déjà déployé. En production, les métriques sont simplifiées car les tests doivent s'exécuter en moins d'une seconde. Les checks complexes (bases de données massives, tests adverariaux, grosse puissance de calcul) sont effectués en pré-production. Une fois la phase de QA robuste passée, LLMon calcule des métriques rapides comme des alertes toxicité, permettant de monitorer un modèle déjà en production.

Quelles sont les prochaines étapes de votre roadmap ?

Nous sommes actuellement en pleine expansion commerciale. Nous comptons déjà des clients français qui valident notre technologie, mais nous souhaitons désormais nous développer au niveau international. Je vais d'ailleurs passer deux semaines aux Etats-Unis prochainement. Nous envisageons également une levée de fonds pour accélérer. Notre objectif est de rendre notre solution disponible au plus grand nombre via l'open source, mais aussi d'élargir notre portefeuille d'entreprises clientes payantes. Maintenant que la technologie est éprouvée auprès des premiers clients français, il s'agit de lui donner une ampleur mondiale et de construire une véritable communauté à la fois sur les volets open source et business.