Cybersécurité : pourquoi l'IA rend indispensables les red team
L'IA est désormais un pivot des centres des opérations de sécurité (SOC) modernes. Elle permet une détection automatique, rapide et continue des menaces grâce à l'analyse d'énormes volumes de données. Toutefois, elle n'est pas sans danger si elle n'est pas testée régulièrement. Son utilisation par les analystes peut devenir défaillante et générer des erreurs aux lourdes conséquences pour la cybersécurité d'une organisation. Pour la tester, il existe donc la red team qui est "l'équipe parfaite dans une organisation pour s'assurer que l'IA n'a pas de failles", résume Zeki Turedi, directeur technique Europe de CrowdStrike.
Chargés de simuler des attaques pour identifier les vulnérabilités d'un système, "les red teamers deviennent de plus en plus importants depuis l'émergence de l'IA dans les SOC", confirme Florence Mottay, responsable de la sécurité des systèmes d'information (RSSI) de Zalando. Ils sont utilisés par les éditeurs pour tester régulièrement leurs IA de cybersécurité, mais aussi de plus en plus par les organisations, en interne ou en tant qu'externes. D'ailleurs, Florence Mottay a même chargé une partie de ses équipes de créer une red team capable de challenger "tous les trimestres" l'IA de son SOC et les analystes qui l'utilisent.
Adapter l'IA aux nouvelles menaces
Configurée par les éditeurs et entraînée continuellement sur les données répétitives de l'organisation qui l'utilise, l'IA d'un SOC manque souvent de capacité à détecter de nouvelles formes d'attaques. Ce caractère "conservateur" de l'IA doit être corrigé car "la menace évolue continuellement et les attaquants changent leurs tactiques sur une base fréquente", souligne Zeki Turedi. En outre, cela peut provoquer des faux négatifs, c'est-à-dire des incidents ou des menaces réellement présentes que l'IA, habituée à certaines données, ne détecte pas.
Zeki Turedi conseille donc à chaque organisation de "comprendre ce qui constitue son comportement normal pour mieux identifier l'anormal où se trouvent les tactiques et techniques d'attaque que l'IA n'a jamais vues auparavant." Une fois que le SOC a identifié ce qui constitue des comportements anormaux pour son organisation, les red teamers peuvent les exploiter pour imaginer de "nouveaux scénarios d'attaque", indique Boussad Addad, expert en IA chez Thales. Ces scénarios peuvent être exécutés à travers de nombreux modes opératoires : data poisoning, adversarial attacks, model inversion attack, etc.
En violentant l'IA avec ces nouveaux scénarios, "soit elle intègre ceux-ci elle-même et s'affine, soit on l'entraîne de nouveau complètement afin qu'elle les prenne en compte", poursuit-il. "Quand les red teamers challengent l'IA, ils opèrent à travers tous les scénarios possibles pour l'aveugler ou la faire réagir de manière inattendue", ajoute Ivan Fontarensky, directeur technique chez Thales. Cela leur permet "d'identifier les faiblesses de l'IA et d'en tirer une règle de détection pour la protéger de la nouvelle menace". Cette règle est ensuite introduite dans celles que l'IA possède déjà pour l'adapter à l'attaque que les red teamers ont simulée.
Entraîner les analystes à maintenir leurs compétences
L'introduction de l'IA dans le SOC a un risque : celui que "l'analyste se repose uniquement sur l'IA et perde en compétences car c'est désormais elle qui émet des alertes et propose des plans de réaction", observe Ivan Fontarensky. Là encore, les red teamers sont essentiels pour entraîner les analystes à être plus vigilants quant à leur utilisation de l'IA grâce à une attaque simulée. "Pour que les analystes ne perdent pas en compétences à cause de l'IA, les red teamers vont simuler des attaques sur celle-ci pour voir comment ils réagissent en l'absence de cet outil", ajoute Boussad Addad. Ce type d'attaque simulée par une red team est "une excellente opportunité de tester et d'entraîner les équipes d'opérations de sécurité sur la manière de gérer réellement un incident assez grave", estime Zeki Turedi.
Le mode opératoire est le suivant : "dans la plupart des cas, les analystes ne sont pas au courant de l'opération de red teaming. Celle-ci doit simuler d'aussi près que possible l'attaque d'un adversaire afin qu'elle soit une véritable opportunité d'identifier les potentielles lacunes des équipes", ajoute-t-il. Cette opération consiste souvent à "faire surréagir l'IA" au moyen de nombreuses alertes et activités suspectes selon Ivan Fontarensky. Une fois qu'elle est mise en œuvre, "les red teamers vont jouer avec les comportements des équipes du SOC", ajoute-t-il. Quand l'opération prend fin, elle donne lieu à un retour d'expérience permettant aux analystes de comprendre leurs failles pour mieux adapter leur utilisation de l'IA aux nouvelles menaces et conserver leurs compétences.