Thomas Brethomé et Thomas Girard (Kerys Software) "Pour résoudre un problème de migration de données, Claude a décidé de supprimer… la base de données !"

Les cofondateurs de Kerys Software, Thomas Brethomé et Thomas Girard, témoignent des risques de sécurité qu'ils rencontrent quand ils utilisent l'IA agentique pour améliorer leur solution de virtualisation sécurisée.

JDN. Chez Kerys, vous utilisez Claude Code pour automatiser certains tests de développement de votre solution. Vous avez récemment vécu une mésaventure avec cette IA. Pouvez-vous nous en dire plus ?

Thomas Brethomé. Récemment, nous avons ajouté de nouvelles fonctionnalités dans notre produit. Elles rajoutaient des champs dans la base de données de configuration du produit. J'ai donc confié à un agent la mission de vérifier, en environnement de test, que les migrations de données des anciennes versions de notre solution vers la nouvelle se déroulent correctement lors de la mise à jour.

Lors du premier test, Claude détectait des échecs de la migration et essayait de les résoudre. Toutefois, Claude n'y parvenait pas car il commettait une erreur de diagnostic sans s'en rendre compte. Mais plutôt que de stopper ses tentatives de résolution du problème, il essayait de corriger celui-ci en boucle. En vain. Finalement, pour résoudre ce problème de migration de données, Claude a décidé de… supprimer la base de données ! Je lui avais en effet donné tous les droits, en mode automatique.

Mais rassurez-nous… Aviez-vous bien effectué le test dans une machine virtuelle ?

Thomas Girard. Oui, et heureusement ! Claude agissait dans une machine virtuelle équipée de snapshots. C'est cela qui a sauvé notre solution de la catastrophe. Si nous n'avions pas procédé ainsi, notre produit aurait été compromis. C'est pourquoi utiliser Claude en mode automatique, dans un environnement non virtualisé et sans vérifier ses actions, fait prendre un risque considérable. Cela revient à confier son ordinateur à un inconnu.

Quels sont les autres problèmes de sécurité que vous avez rencontrés avec l'IA ?

T.B. Des problèmes surviennent très régulièrement quand on demande à l'IA de proposer une modification de code. Quand Claude Code crée une nouvelle fonction, il introduit souvent une régression, c'est-à-dire un bug dans une partie de la solution qui fonctionnait très bien jusqu'à maintenant. Notre code contient des tests automatiques qui détectent ce type de bug. Mais quand l'IA introduit un bug signalé par ces tests, plutôt que de le corriger, elle propose carrément de supprimer ces tests !

Il m'est aussi arrivé de voir Claude Code contourner dangereusement les protections du système d'exploitation de mon ordinateur pour effectuer les tâches que je lui avais demandées. Il installe des outils illégitimes dont il estime avoir besoin, va chercher des ressources dans le web, etc.

Et récemment, c'est Claude Fable qui nous a réservé une surprise. L'IA a généré un code qui contenait une vulnérabilité. Elle l'a détectée puis, suite à cela, s'est bloquée elle-même sans évoquer la vulnérabilité qu'elle avait introduite. Et pour cause, Fable n'a pas le droit de faire de la recherche de vulnérabilité. Donc quand elle a détecté que son propre raisonnement analysait une vulnérabilité, elle s'est-bloquée toute seule, même si c'est elle qui l'avait introduite.

Vos clients vous ont-ils aussi fait part de problèmes de sécurité rencontrés avec l'IA ?

T.B. Oui, bien sûr. Il y a peu de temps, l'IA a exfiltré des données de l'un de nos clients. Confrontée à des bugs qu'elle ne parvenait pas à résoudre, liés à un driver, le petit logiciel de la carte graphique qui fait le lien entre l'ordinateur et le matériel, elle a décidé de signaler l'incident directement au fournisseur, via son système de bug report.