David Girard (TrendAI) "Beaucoup de fournisseurs ont livré des IA bâclées, sans la télémétrie nécessaire"
David Girard, directeur de la sécurité de l'IA et des partenariats chez TrendAI, précise pourquoi il a fondé un groupe de travail qui veut imposer aux fournisseurs d'IA la traçabilité des actions de leurs systèmes.
JDN. Vous avez créé un groupe de travail au sein de la coalition pour la sécurité de l'IA (CoSAI) chargé de produire un framework dédié à la télémétrie de l'IA. Pourquoi ?
David Girard. J'exprime le besoin de collecter de la télémétrie sur le comportement des IA depuis 2024. Et pour cause. A l'époque, beaucoup de bases de données vectorielles utilisées par les IA génératives ne produisaient aucun log. Quand l'IA fouillait dans ces bases, aucune trace de consultation n'était générée. Or, sans journalisation d'événements, il est impossible de détecter les menaces cyber produites par les IA.
Ensuite, en décembre 2025, j'ai présenté la première version d'un AI telemetry framework à une dizaine d'experts. Depuis, je me réunis avec eux au sein d'un groupe de travail placé sous l'égide de la Coalition pour la sécurité de l'IA (CoSAI). Il s'agit d'un regroupement de grands acteurs de la tech, comme Microsoft, Google, Meta, ou TrendAI, dédié à la sécurité de l'IA. Ce groupe de travail réunit des experts issus de certaines entreprises qui composent le CoSAI, ainsi que des chercheurs indépendants. Sa mission est d'améliorer ce framework et de proposer une version bêta qui devrait sortir en décembre 2026.
Ce framework établit tous les logs qui doivent être générés pour suivre le comportement des IA. Ceux-ci sont, par exemple, les inputs et outputs, les étapes de raisonnement, l'utilisation des outils comme les bases de données ou les API, l'exécution d'un script, mais aussi toutes les étapes d'interactions entre agents. Nous avons l'ambition de fournir les standards de référence en termes de télémétrie de l'IA.
Des fournisseurs comme Anthropic publient pourtant régulièrement des rapports dans lesquels ils détaillent comment les groupes cybercriminels détournent leurs modèles. C'est donc bien qu'ils collectent de la télémétrie…
Les fournisseurs d’IA récoltent bien ces logs, mais pas leurs clients. Même quand ces derniers déploient les grands modèles d'IA dans leur environnement, les logs restent sous le contrôle de l'éditeur. Par exemple, des cyberattaquants se sont servis de l'IA d'Anthropic pour automatiser leurs opérations d'exfiltration de données, de malwares, etc. Anthropic a documenté ces opérations grâce à des logs dont ne bénéficient pas ses utilisateurs. Désormais, avec Claude Entreprise, Anthropic propose à ses clients de recevoir des logs sur l'utilisation de l'IA par leurs employés. Mais leur portée est franchement limitée. Ils consistent principalement à faire remonter les input et output de l'IA. A l'heure actuelle, il reste très difficile d'enquêter sur un employé malveillant qui utilise l'IA de son entreprise pour tenter d'extraire des données.
Mais pourquoi les fournisseurs d'IA n'ont-ils pas prévu cette télémétrie disponible pour leurs clients ?
Dans la ruée vers l'or de l'IA, beaucoup de fournisseurs ont livré des IA bâclées, à la va-vite, et sans la télémétrie nécessaire pour leurs clients.
Et si une organisation décide d'utiliser des IA open source installées en local, peut-elle recueillir elle-même des logs grâce à des solutions d'observabilité ?
Non. Chez Trend AI, nous avons quelques clients qui achètent leurs propres serveurs équipés de puces Nvidia. Ils y installent des IA open source qu'ils entraînent avec leurs propres données. En théorie, ils les maîtrisent totalement et peuvent utiliser des solutions d'observabilité pour recueillir des logs sur leur comportement. Mais, dans la réalité, ce n'est pas le cas car ces IA n'ont pas été nativement conçues pour générer des logs de sécurité. Ils doivent alors créer des hooks dans l'infrastructure dédiée à l'IA, c'est-à-dire des points de connexion prévus dans le code source, qui permettent à des capteurs de surveiller son comportement. Pour cela, il leur incombe d'établir eux-mêmes des standards de logs compatibles avec ce que leurs solutions de cybersécurité peuvent récolter. C'est complexe et cela demande aussi de grandes connaissances techniques. Aussi, les bases de données vectorielles utilisées ne généreront pas nécessairement de journaux d'événements. Les kits de développement, utilisés pour créer des agents IA, ne permettront pas non plus de générer les données d'activité suffisantes.
Quant aux solutions d'observabilité, elles ne sont pas assez performantes. Pendant le dernier Black Hat, à Las Vegas, en août 2026, j'ai discuté avec certains de leurs représentants. Quand je leur demandais si leurs solutions étaient capables de suivre toute l'activité d'un agent IA, ils me répondaient que ce n'était pas nécessaire… Cela m'a rendu bien sceptique.
Quelle est l'ambition du groupe de travail ?
Nous rencontrons très régulièrement les experts en charge de l'open telemetry et de l'open cybersecurity schema framework. Il s'agit des deux grands standards de télémétrie au monde. Nous souhaitons les convaincre d'intégrer notre framework à leurs standards. C'est important pour nous car les outils de cybersécurité actuels ne comprennent que les logs qui respectent ces standards. Enfin, nous voulons aussi influencer les prochaines versions de la norme Iso 42001, relative à la gestion de l'IA, pour qu'elle impose la génération et la collecte de certains logs essentiels.