ChatGPT meilleur allié des hackers, vraiment ?
Chat GPT, un agent conversationnel basé sur l'IA d'open AI lancé le 30 novembre dernier a impressionné le monde par ses réponses et leur qualité. Mais il inquiète aussi les acteurs de la cybersécurité, car il est soupçonné d'aider les hackers... Début janvier, l'entreprise Vade, dans une vidéo , expliquait comment créer un mail de phishing avec ChatGPT. Elle n'était pas seule car énormément de personnes sur les réseaux sociaux démontraient combien il était très facile d'obtenir des mails de phishing, voire même des codes de malware composés par ChatGPT. Nous avons donc décidé de tester ChatGPT pour vérifier si l'on peut vraiment obtenir aussi facilement des mails de phishing.
Des tests fructueux mais vite devenus caduques
Pour commencer, nous essayons les exemples que nous avons vu passer sur Internet et dans la vidéo de Vade. Ces derniers ne fonctionnant plus, nous créons nos propres requêtes. Au bout de 30 minutes de tentatives infructueuses, nous arrivons enfin à obtenir des mails de phishing. Nous faisons ce travail en anglais et en français. Nous pensons alors pouvoir confirmer que ChatGPT est un outil parfait pour tout cybercriminel en devenir. Une heure après ces essais positifs, nous tentons de reproduire l'exercice avec les mêmes phrases, mais cette fois ChatGPT refuse de nous donner les mails... En à peine une heure, la modération de la plateforme avait bloqué nos phrases et mots clés. Toujours en anglais et en français, après encore un travail de recherche, nous trouvons de nouvelles phrases qui aboutissent sur de nouveaux mails de phishing. Néanmoins, cette fois, ChatGPT précise avant chaque exemple que le phishing est une pratique illégale. Ces techniques marchaient encore quelques heures après leur première utilisation.
Une modération qui monte en puissance
"Au début de ChatGPT, on pouvait tout demander, des recettes d'explosif, de drogue et bien sûr des mails de phishing, se rappelle Romain Basset, directeur du service client de Vade. Mais Open Ai a dû comprendre le danger et appliquer une technique de modération en entonnoir. Je pense que ChatGPT bloque les demandes via des mots clés que les équipes de modération jugent dangereux".
Le scénario le plus probable est que les équipes de modération de ChatGPT surveillent les mots utilisés lors des interactions et peu à peu, bloquent les demandes liées à une certaine liste de mots jugés sensibles. Ce travail de modération va sans aucun doute permettre de limiter les détournements de ChatGPT. Néanmoins, il y aura toujours des possibilités de détourner l'agent conversationnel. Par exemple, certaines langues semblent plus surveillées que d'autres : quand nous formulions des demandes en espagnol, il était encore possible d'obtenir des mails de phishing.
ChatGPT, un révélateur des menaces à venir
Ces détournements de ChatGPT sont surtout les révélateurs des menaces à venir concernant l'arrivée de l'IA aux mains des cybercriminels. ChatGPT aura bientôt des concurrents qui risquent de ne pas être aussi bien modérés que lui et donc de devenir des alliés des hackers. Autre problème qui arrivera sans doute à moyen terme : celui des hackers dotés d'une IA "maison" pour les aider dans leurs cyberattaques.