Chatbots et cybersécurité : êtes-vous vraiment protégés ?
L'explosion de l'utilisation de l'IA générative, pour la génération d'images, de voix et de texte sert de nouveaux intérêts en entreprise : de l'automatisation du support client à l'aide à la prise de décision, en passant par la recherche et la production de documents. Ce nouveau mode d'exposition de vos données d'entreprise offre aussi aux attaquants une nouvelle surface d'attaque, que ce soit pour accéder à vos informations stratégiques que pour introduire des biais dans les mécanismes de prise de décision.
Tout savoir sur le phishing et l'IA grâce à Synetis.
Les chatbots, un rêve pour les hackers ?
Les chatbots intégrant des modèles d'intelligence artificielle ont révolutionné nos interactions numériques. Plus intuitifs, plus réactifs, ils s'intègrent désormais à des services clients, des plateformes collaboratives et même des outils de gestion interne. Derrière cette accessibilité se cache un enjeu de taille : la sécurité des données échangées.
Un chatbot n'est pas une simple boîte de dialogue. C'est une application à part entière, avec des mécanismes complexes de traitement des requêtes et de contextualisation des réponses [1]. Les données qui servent à cette contextualisation sont exposées à des risques d'exfiltration, de modification ou d'altération des conversations.
Alors, comment sécuriser ces outils sans compromettre leur efficacité ? C'est ici qu'intervient l'audit de cybersécurité.
Comprendre les vulnérabilités des chatbots
Les chatbots IA reposent sur des mécanismes de génération et de récupération de données. En clair, ils n'inventent pas les informations, mais puisent dans une base de connaissances pour produire une réponse. Cette interaction s'appuie sur deux éléments clés : le prompt système et le mécanisme RAG (Retrieval-Augmented Generation) [2].
Le prompt système permet de définir des rôles et un cadre à la conversation, par exemple en imposant la tonalité des réponses, l'identité de l'utilisateur, ou l'heure à laquelle le message est envoyé.
Le mécanisme RAG, de son côté, complète la requête de l'utilisateur avec des extraits de documents stockés dans une base de données vectorielle et récupérés d'une façon analogue à la traditionnelle requête LIKE en SQL.
Si ces technologies sont prometteuses, elles posent de nouveaux problèmes de sécurité. Nos experts en cybersécurité chez Synetis ont mené plusieurs audits de chatbots pour lesquels ils ont identifié des failles analogues à celles rencontrées en audit web.
Quand un simple chatbot devient une porte d'entrée
Lors d'un récent audit, nos consultants ont découvert une vulnérabilité web permettant à un hacker d'accéder aux conversations d'autres utilisateurs en manipulant un identifiant de session.
Une simple requête web suffisait pour consulter des échanges privés. Ce qui fait de cette attaque, un risque pour toutes les données d'entreprise exposées au chatbot. Pour Sergueï Tchoumakov, consultant chez Synetis, "Les chatbots s'intègrent naturellement dans un environnement web et nous constatons que pour évaluer leur sécurité il est indispensable d'auditer l'application web sous-jacente". Certaines des vulnérabilités observées sont plus caractéristiques aux chatbots.
Concernant l'accès à des documents sensibles, une mauvaise configuration peut exposer des extraits de documents importants et auxquels l'utilisateur n'est normalement pas autorisé à accéder. De plus, l'interprétation des documents par l'application peut être inexacte, ce qui peut polluer la base de données et introduire un biais d'analyse. Par exemple, la conversion d'un document PDF en Markdown ne conserve pas la taille et la couleur de la police, l'IA pourrait ainsi interpréter du texte pourtant invisible à l'écran. Enfin, s'agissant de l'exfiltration de données, l'intégration du format Markdown dans les conversations peut être utilisée pour inclure des liens malveillants et récupérer des informations confidentielles.
Auditer pour mieux protéger
Face à ces vulnérabilités, un audit de sécurité s'impose. Contrairement aux idées reçues, la sécurité d'un chatbot ne repose pas seulement sur l'IA, mais sur l'ensemble de son écosystème.
Les mécanismes d'authentification doivent être renforcés pour éviter l'usurpation d'identité. En prime, les accès aux données doivent être strictement contrôlés pour empêcher la divulgation de documents sensibles. Les requêtes utilisateur doivent aussi être validées et filtrées pour éviter les injections malveillantes.
La méthodologie d'audit des experts Synetis s'inspire de celle utilisée pour les applications web : tester chaque maillon de la chaîne pour identifier et corriger les failles.
Découvrir les audits chez Synetis.
Protéger ses chatbots avec Synetis
L'essor des IA génératives offre des perspectives inédites, mais ne doit pas se faire au détriment de la sécurité de vos données. Pour vous accompagner dans cette transition, Synetis met à votre disposition son expertise pointue en cybersécurité. Leurs solutions sont conçues pour anticiper les menaces, identifier les vulnérabilités et renforcer la protection de vos chatbots. Cela afin de garantir la confidentialité et l'intégrité de vos données, avant qu'elles ne soient exploitées par les cybercriminels.
Découvrir les scans de vulnérabilité chez Synetis.
Les services de Synetis incluent des tests d'intrusion, des audits de code source, des analyses de configuration et un accompagnement personnalisé. Les tests d'intrusion et l'audit de code source permettent d'identifier les vulnérabilités exposées dans l'intégration de vos chatbots. Pendant ce temps, les analyses de configuration renforcent la sécurité des serveurs web et des bases de données associées aux chatbots. Enfin, l'accompagnement personnalisé intègre les meilleures pratiques de cybersécurité dans le développement des IA conversationnelles.
Pour plus d'information, vous pouvez consulter la vidéo de présentation de Synetis ici.
Si les chatbots ne sont pas infaillibles, il existe des solutions pour limiter leur exposition et permettre à votre entreprise de continuer à évoluer en même temps que ces nouvelles technologies.
[1] Practical Deep Learning for Coders : https://course.fast.ai/Resources/book.html
[2] Building RAG-based LLM Applications for Production : https://www.anyscale.com/blog/a-comprehensive-guide-for-building-rag-based-llm-applications-part-1
[3] Threat modeling a machine learning system : https://embracethered.com/blog/posts/2020/husky-ai-threat-modeling-machine-learning/