Des chercheurs de Carnegie Mellon démontrent que les LLM peuvent planifier et exécuter de manière autonome des cyberattaques dans le monde réel

Une nouvelle étude révèle comment l’IA pourrait à la fois remettre en question et renforcer les défenses futures en matière de cybersécurité

PITTSBURGH--(BUSINESS WIRE)--Dans le cadre d’une avancée majeure dans les domaines de la cybersécurité et de l’intelligence artificielle, des chercheurs de la Carnegie Mellon University, en collaboration avec Anthropic, ont démontré que les grands modèles de langage (LLM) peuvent planifier et exécuter de manière autonome des cyberattaques sophistiquées sur des environnements réseau d’entreprise sans intervention humaine.

Cette étude, menée par Brian Singer, doctorant au département d’ingénierie électrique et informatique de Carnegie Mellon, révèle que les LLM, lorsqu’ils sont structurés avec des capacités de planification de haut niveau et soutenus par des cadres d’agents spécialisés, peuvent simuler des intrusions réseau qui reflètent étroitement les violations du monde réel. La conclusion la plus frappante de l’étude : un LLM a réussi à reproduire la célèbre violation de données d’Equifax en 2017 dans un environnement de recherche contrôlé, en exploitant de manière autonome les vulnérabilités, en installant des logiciels malveillants et en exfiltrant des données.

« Nos recherches montrent qu’avec les abstractions et les conseils appropriés, les LLM peuvent aller bien au-delà des tâches de base », déclare Brian Singer. « Ils peuvent coordonner et exécuter des stratégies d’attaque qui reflètent la complexité du monde réel. »

L’équipe a développé une architecture hiérarchique dans laquelle le LLM agit en tant que stratège, planifiant l’attaque et donnant des instructions de haut niveau, tandis qu’un mélange d’agents LLM et non-LLM exécute des tâches de bas niveau telles que l’analyse des réseaux ou le déploiement de failles. Cette approche s’est avérée beaucoup plus efficace que les méthodes précédentes, qui reposaient uniquement sur l’exécution de commandes shell par les LLM.

Ce travail s’appuie sur les recherches antérieures de Brian Singer visant à rendre les outils autonomes d’attaque et de défense plus accessibles et programmables pour les développeurs humains. Ironiquement, les mêmes abstractions qui ont simplifié le développement pour les humains ont permis aux LLM d’effectuer plus facilement des tâches similaires de manière autonome.

Bien que ces résultats soient révolutionnaires, Brian Singer souligne que la recherche en reste au stade de prototype.

« Ce n’est pas quelque chose qui va détruire Internet demain », déclare-t-il. « Les scénarios sont limités et contrôlés, mais c’est un pas en avant important. »

Les implications sont doubles : la recherche met en évidence de graves préoccupations à long terme en matière de sécurité concernant l’utilisation abusive potentielle de LLM de plus en plus performants, mais elle ouvre également des possibilités transformatrices pour la cybersécurité défensive.

« Aujourd’hui, seules les grandes organisations peuvent se permettre des exercices de red team pour tester de manière proactive leurs défenses », explique Brian Singer. « Cette recherche ouvre la voie à un avenir où les systèmes d’IA testeront en permanence les réseaux à la recherche de vulnérabilités, rendant ces protections accessibles également aux petites organisations. »

Le projet a été mené en collaboration avec Anthropic, qui a fourni des crédits pour les modèles et des conseils techniques. L’équipe comprenait des étudiants et des professeurs de la CMU affiliés au CyLab, l’institut de sécurité et de confidentialité de l’université. Une première version de la recherche a été présentée lors d’un atelier sur la sécurité organisé par OpenAI en mai.

L’article qui en a résulté, intitulé « On the Feasibility of Using LLMs to Autonomously Execute Multi-host Network Attacks », a été cité dans plusieurs rapports industriels et sert déjà de base à la documentation de sécurité des systèmes d’IA de pointe. Lujo Bauer et Vyas Sekar, codirecteurs de la Future Enterprise Security Initiative de la CMU, ont été les conseillers pédagogiques du projet.

Pour l’avenir, l’équipe étudie actuellement comment des architectures similaires pourraient permettre des défenses IA autonomes, en explorant des scénarios dans lesquels des agents basés sur des LLM détectent et répondent aux attaques en temps réel.

« Nous entrons dans une ère où l’IA s’oppose à l’IA dans le domaine de la cybersécurité », déclare Brian Singer. « Et nous devons comprendre les deux côtés pour garder une longueur d’avance. »

À propos du College of Engineering : le College of Engineering de la Carnegie Mellon University est une faculté d’ingénierie de premier plan, réputée pour l’importance qu’elle accorde à la collaboration interdisciplinaire dans le domaine de la recherche. Elle est connue pour travailler sur des problèmes d’importance scientifique et pratique. Notre culture « maker » est ancrée dans tout ce que nous faisons, ce qui nous permet d’adopter des approches novatrices et d’obtenir des résultats transformateurs. Notre corps professoral réputé se concentre sur la gestion de l’innovation et l’ingénierie afin d’obtenir des résultats transformateurs qui stimuleront la vitalité intellectuelle et économique de notre communauté, de notre nation et du monde entier.

À propos de CyLab : CyLab est l’institut de sécurité et de confidentialité de la Carnegie Mellon University. Nous coordonnons la recherche et l’enseignement en matière de sécurité et de confidentialité dans tous les départements de l’université. Notre mission est de catalyser, soutenir, promouvoir et renforcer la recherche et l’enseignement collaboratifs en matière de sécurité et de confidentialité entre les départements, les disciplines et les frontières géographiques afin d’avoir un impact significatif sur la recherche, l’enseignement, les politiques publiques et la pratique.

Le texte du communiqué issu d’une traduction ne doit d’aucune manière être considéré comme officiel. La seule version du communiqué qui fasse foi est celle du communiqué dans sa langue d’origine. La traduction devra toujours être confrontée au texte source, qui fera jurisprudence.

Contact médias :
Michael Cunningham
Carnegie Mellon University
mcunningham@cmu.edu
412-443-2051