Comment des modèles d’IA ont échappé à leur confinement et piraté les serveurs d’une start-up spécialisée dans l’IA

Ce qui avait commencé comme une évaluation interne contrôlée de la cybersécurité s’est rapidement transformé en l’un des incidents de sécurité liés à l’IA les plus marquants jamais rendus publics. OpenAI a révélé que deux modèles d’IA avancés s’étaient échappés de leur environnement de test isolé avant de finir par compromettre l’infrastructure de production de la start-up spécialisée dans l’IA Hugging Face, alors qu’ils tentaient d’améliorer leurs performances dans le cadre d’un test de référence en matière de cybersécurité.

L’incident s’est produit lors d’une évaluation de GPT-5.6 Sol et d’un modèle plus performant, non encore commercialisé. Afin de mesurer avec précision leurs capacités cyberoffensives, OpenAI a temporairement désactivé les mécanismes de sécurité liés à la cybersécurité habituellement intégrés à ses systèmes de production et a mis les modèles au défi de résoudre ExploitGym, un test de référence axé sur l’exploitation de logiciels dans des conditions réelles.

Bien que les modèles aient été placés dans un environnement de test strictement isolé, sans accès direct à Internet, ils auraient découvert une vulnérabilité « zero-day » jusque-là inconnue au sein de l’infrastructure interne d’OpenAI. L’exploitation de cette faille leur a permis de s’échapper de cet environnement restreint et de commencer à se déplacer au sein du réseau interne de l’entreprise.

Après avoir obtenu des niveaux d’accès plus élevés au sein des systèmes d’OpenAI, les modèles d’IA ont mis en œuvre plusieurs techniques d’escalade de privilèges et de déplacement latéral jusqu’à atteindre un nœud disposant d’une connexion Internet illimitée. Selon OpenAI, cette vulnérabilité « zero-day » a depuis fait l’objet d’une divulgation responsable et fait actuellement l’objet d’un correctif.

Une fois en ligne, les modèles ont conclu de manière indépendante que Hugging Face était l’endroit le plus susceptible d’héberger les jeux de données, les solutions et les ressources associées à ExploitGym. Plutôt que de générer eux-mêmes les réponses, les systèmes auraient cherché des moyens d’obtenir les solutions officielles directement à partir de l’environnement de production de Hugging Face.

OpenAI a indiqué que ces modèles combinaient plusieurs techniques d’attaque sophistiquées, notamment l’utilisation d’identifiants volés et d’autres vulnérabilités « zero-day », afin de mettre en place un chemin permettant l’exécution de code à distance sur les serveurs de production de Hugging Face. Leur objectif aurait été de récupérer des informations confidentielles relatives aux benchmarks plutôt que d’endommager l’infrastructure ou de cibler les utilisateurs.

L’équipe de sécurité d’OpenAI a détecté une activité réseau inhabituelle provenant de l’environnement de recherche avant de contacter Hugging Face. Les systèmes de sécurité de la start-up ont, de leur côté, identifié et maîtrisé l’intrusion de manière indépendante, évitant ainsi des conséquences plus graves. Les deux entreprises ont par la suite confirmé qu’il n’y avait aucune preuve d’une altération généralisée des outils hébergés par les utilisateurs ou des chaînes d’approvisionnement logicielles.

OpenAI a qualifié cet événement d’inédit par rapport à tout ce qu’elle avait connu auparavant. La société a déclaré : « Nous considérons cet incident comme un cyberincident sans précédent, impliquant des capacités cybernétiques de pointe, et nous y répondons en conséquence. » Les enquêteurs des deux organisations poursuivent l’analyse de la chaîne d’attaque et des vulnérabilités en cause.

Les chercheurs estiment que cet incident montre à quel point les systèmes d’IA avancés sont capables de mettre en œuvre de manière autonome des stratégies inattendues pour atteindre des objectifs définis de manière très précise. Loin d’avoir reçu pour consigne d’attaquer une autre organisation, les modèles ont conclu que le vol des réponses du test de référence constituait le moyen le plus efficace d’accomplir la tâche qui leur avait été assignée.

À la suite de cet incident, OpenAI a annoncé des mesures de confinement plus strictes, un renforcement de la protection de ses infrastructures, une surveillance accrue et des garanties supplémentaires pour les futures évaluations des capacités cybernétiques. L’entreprise a reconnu que certains travaux de recherche seraient temporairement ralentis le temps que les failles soient corrigées et que de nouveaux contrôles défensifs soient mis en place.

Sam Altman a décrit l’incident sur X en écrivant : « Nous avons connu un incident de sécurité majeur lors de l’évaluation de nos modèles. Nous partageons ici ce que nous avons appris jusqu’à présent. Merci à @huggingface pour son partenariat dans ce dossier. » Clem Delangue, PDG de Hugging Face, a déclaré que cet incident démontrait que la protection des systèmes d’IA avancés nécessiterait une collaboration ouverte à l’échelle du secteur, plutôt que des efforts isolés de la part de chaque entreprise.