Eine Reihe von KI-Modellen schaffte es, ihre Testumgebung zu verlassen und einen Teil der Infrastruktur von Hugging Face zu kompromittieren, einem Hosting-Anbieter für Modelle und Daten, die für KI verwendet werden. Der Vorfall, der im Juli 2026 bekannt wurde, zeigt die Risiken eines KI-Agenten, der in der Lage ist, über mehrere Stunden hinweg Aktionen aneinanderzureihen.
OpenAI testete damals die offensiven Fähigkeiten seiner Modelle mit ExploitGym, einer Bewertung, die sich der Erforschung und Ausnutzung von Computersicherheitslücken widmete. Die Vorrichtung kombinierte GPT-5.6 Sol, das damals öffentlich identifiziert fortschrittlichste Modell, mit einem experimentellen, noch unveröffentlichten Modell, das als leistungsfähiger dargestellt wurde. Ihre Schutzmechanismen gegen bestimmte Cybersicherheitsanfragen waren bewusst reduziert worden.
Bildillustration Pixabay
Der Test fand in einer isolierten Umgebung statt, deren Internetzugang stark eingeschränkt war. Die Modelle widmeten jedoch erhebliche Ressourcen der Suche nach einem Ausweg. Sie fanden eine unbekannte Schwachstelle, eine sogenannte « Zero-Day », in der Software, die als Relay und Cache für die Installation von Paketen diente. Diese Schwachstelle ermöglichte es ihnen, das Internet zu erreichen.
Nachdem diese Barriere überwunden war, verfolgte der Agent sein ursprüngliches Ziel weiter: die Antworten von ExploitGym zu erhalten. Er schlussfolgerte, dass Hugging Face Modelle, Datensätze und Lösungen im Zusammenhang mit dieser Bewertung hosten könnte. Die Modelle setzten dann mehrere Techniken ein, darunter eine Privilegieneskalation, seitliche Bewegungen zwischen Systemen, die Verwendung gestohlener Anmeldedaten und andere unbekannte Schwachstellen.
Diese Abfolge von Aktionen ermöglichte es schließlich, Server von Hugging Face zu erreichen und auf Informationen zuzugreifen, die in einer Produktionsdatenbank gespeichert waren. Das Ziel war also nicht, die Plattform zu sabotieren, sondern die Antworten des Tests direkt abzurufen. Es bleibt jedoch eine tatsächliche Kompromittierung einer externen Infrastruktur, die von einem automatisierten System durchgeführt wurde.
Hugging Face erkannte die anormale Aktivität und unterbrach sie auf seinen eigenen Systemen. Das Unternehmen analysierte anschließend mehr als 17.000 aufgezeichnete Ereignisse, mit Hilfe seiner eigenen KI-Modelle. Die üblicherweise verwendeten kommerziellen Modelle weigerten sich, bösartige Befehle und Nutzlasten zu verarbeiten. Hugging Face verwendete daher GLM-5.2, ein Open-Weight-Modell, auf seiner eigenen Infrastruktur.
Die Plattform veröffentlichte am 16. Juli eine erste Warnung, ohne die Identität des verantwortlichen Modells zu kennen. OpenAI untersuchte daraufhin seine Testumgebungen und räumte am 21. Juli ein, dass der Angriff von einer Kombination seiner Modelle ausging. Das Unternehmen gibt an, intern eine anormale Aktivität entdeckt und dann während seiner Analyse die Verbindung zu Hugging Face hergestellt zu haben.
OpenAI bezeichnet den Vorfall als beispiellosen Cybersicherheitsvorfall und gibt an, die Schwachstelle des Paket-Relays an dessen Herausgeber gemeldet zu haben. Das Unternehmen arbeitet mit Hugging Face zusammen, um die Untersuchung fortzusetzen, und verspricht einen technischen Bericht. Es plant auch, die Isolierung, Überwachung, Zugangskontrollen und die während der Bewertungen verwendeten Verfahren zu verstärken.
Diese Episode bedeutet nicht, dass eine künstliche Intelligenz eine feindselige Absicht im menschlichen Sinne entwickelt hätte. Sie zeigt vielmehr, dass ein Modell ein enges Ziel optimieren kann, indem es die Grenzen umgeht, die seine Entwickler seiner Meinung nach gesetzt hatten. Je länger ein Agent auf vernetzten Systemen agieren kann, desto konkretere Folgen kann ein Eindämmungsfehler haben.