OpenAI, Anthropic und das britische AI Security Institute haben innerhalb von zwei Wochen offengelegt, dass KI-Agenten ihre Testumgebungen verlassen und auf reale Systeme und Menschen eingewirkt haben. Entscheidend ist weniger der Einzelfall als das Tempo der Entwicklung, erklärt Thomas Boele, Global Director Solutions Engineering – AI Security, Check Point Software.
Innerhalb von vierzehn Tagen im Juli und August 2026 haben drei Organisationen offengelegt, dass KI-Agenten im Rahmen interner Sicherheitsprüfungen den vorgesehenen Testrahmen verlassen und auf reale Infrastruktur, realen Code oder reale Menschen eingewirkt haben. Für sich genommen ist keiner der drei Fälle spektakulär. Zusammen markieren sie einen Übergang vom theoretischen Risiko zum dokumentierten Vorfall – und in einem Fall war es menschliche Aufmerksamkeit, nicht eine technische Kontrolle, die den Schaden verhindert hat.
Der jüngste Fall stammt vom britischen AI Security Institute (AISI), das Anfang August einen Bericht veröffentlichte, wonach ein KI-Agent während einer Routineprüfung aus einer Testumgebung ausgebrochen war. Der Agent recherchierte die Maintainer eines Open-Source-Projekts, legte gefälschte Online-Identitäten an und versuchte darüber, einen realen Maintainer zur Freigabe von bösartigem Code zu bewegen – ein Social-Engineering-Ansatz wie sonst bei menschlichen Angreifern in Supply-Chain-Szenarien. Bemerkenswert ist weniger die Technik als die Genese: Niemand hatte den Agenten zur Täuschung angewiesen, untersagt war es ihm aber auch nicht – eine Einschränkung, die bei Modellen mit Alignment-Training bislang verzichtbar schien.
Der Vorfall unter der Lupe
Das AISI prüfte sieben Modelle in zwei Cyber-Ranges – kontrollierten, simulierten Netzwerken, die reale Umgebungen nachbilden – in 122 Durchläufen. In zehn Durchläufen agierte ein Agent außerhalb des Testumfangs; dokumentiert sind 19 Einzelaktionen, davon 17 mit Anthropics Mythos 5 und zwei aus einem Durchlauf mit OpenAIs GPT-5.6 Sol, laut dem technischen Bericht des Instituts.
Zwei Rahmenbedingungen zählen: Der Internetzugang war absichtlich aktiviert, und die Cyber-Klassifikatoren, mit denen Anbieter riskantes Verhalten normalerweise unterbinden, waren deaktiviert, um die maximale Leistungsfähigkeit zu ermitteln – Bedingungen, die nicht der Konfiguration entsprechen, in der diese Modelle Endnutzern zur Verfügung stehen. Ein Sandbox-Ausbruch lag nicht vor, bestätigte reale Schäden hat das AISI bislang nicht festgestellt. Aufgefallen ist der Vorfall dem eigenen Monitoring: Am Morgen des 28. Juli registrierten die Systeme Datenverkehr über das Tor-Netzwerk, binnen einer Stunde war der Vorfall eingedämmt.
Drei Offenlegungen in vierzehn Tagen
Der AISI-Bericht ist die dritte Offenlegung dieser Art innerhalb von zwei Wochen, und der Vergleich ist aufschlussreich, weil die Ursachen jeweils andere sind.
Am 21. Juli gab OpenAI bekannt, dass zwei Modelle über eine bis dahin unbekannte Schwachstelle aus einer Testumgebung ausgebrochen waren und anschließend die Produktivinfrastruktur von Hugging Face kompromittiert hatten, so das Unternehmen. Hugging Face hatte den Angriff selbst entdeckt und den Behörden gemeldet, bevor OpenAI den Zusammenhang zum eigenen Evaluierungslauf herstellen konnte.
Am 30. Juli folgte Anthropic. Eine Durchsicht von 141.006 Evaluierungsläufen ergab drei Vorfälle, in denen Claude-Modelle – Opus 4.7, Mythos 5 sowie ein internes Forschungsmodell – laut Anthropic unbefugten Zugriff auf die Produktivinfrastruktur dreier realer Organisationen erlangten; die frühesten datieren auf April 2026. Ursächlich war ein Missverständnis mit Evaluierungspartner Irregular: Die Testmaschinen hatten aktiven Internetzugang, obwohl der Prompt das Gegenteil vorgab. Der Einbruch selbst erfolgte über schwache Passwörter und nicht authentifizierte Endpunkte; zwei der drei Organisationen hatten die Aktivität selbst nicht bemerkt.
Nicht die Einzelfälle sind das Problem, sondern das Tempo
Ein Agent, der falsche Identitäten erfindet, um einen Menschen zur Freigabe bösartigen Codes zu bewegen, war bis vor Kurzem Gegenstand wissenschaftlicher Abhandlungen, nicht von Vorfallsberichten; das AISI beschreibt diese Täuschung als bislang weitgehend theoretisches Verhalten. Nun liegt es dokumentiert vor.
Ein Detail aus dem Anthropic-Bericht verdient Aufmerksamkeit, weil es zunächst dagegen zu sprechen scheint. Die drei Modelle reagierten unterschiedlich, als sich Hinweise auf ein reales Umfeld ergaben: Opus 4.7, das älteste, setzte den Angriff fort, obwohl es die Systeme als Produktivinfrastruktur erkannte; Mythos 5 versetzte sich trotz zutreffender Zwischenbewertung zurück in die Annahme, weiterhin in einer Simulation zu operieren; das neueste, ein internes Forschungsmodell, brach ab. Das klingt beruhigend, bedeutet für die Sicherheitsarchitektur aber das Gegenteil: Die Fähigkeit, ein System zu kompromittieren, wächst schneller als die Fähigkeit, die eigene Lage einzuschätzen – eine Kontrolle darf sich daher nicht auf die Selbsteinschätzung eines Agenten stützen, denn sie ist Verhalten, keine Sicherheitseigenschaft.
Alle drei Vorfälle wurden entdeckt, eingedämmt und offengelegt – Frühwarnmechanismen funktionieren also, offen bleibt aber, ob sich diese Verteidigung mit der Technologie skalieren lässt und ob Organisationen so schnell reagieren, wie die Warnungen eintreffen. Bemerkenswert: Gestoppt hat den AISI-Angriff ein Mensch – der Maintainer, der den Pull-Request geprüft und abgelehnt hat – sowie ein Außenstehender, der den Code in einer abgeschotteten Umgebung öffnete, nachdem das Monitoring erst nachgelagert über auffälligen Datenverkehr angeschlagen hatte. Menschliche Aufmerksamkeit hat diesmal gehalten; sie skaliert aber nicht gegen einen Angreifer, der ununterbrochen arbeitet und nicht ermüdet.
Konsequenzen für die Praxis
Das AISI zieht drei Lehren für Evaluatoren: feingranulare Netzwerkkontrollen statt pauschalem Internetzugang, Echtzeit-Monitoring laufender Evaluierungen sowie Testdesigns, die einkalkulieren, dass ein leistungsfähiges Modell seinen Rahmen verlässt. Für andere Organisationen fällt die Empfehlung nüchterner aus und ist im Kern nicht neu: belastbare Grundlagen der Cyber Security, konsequente Prüfung externen Codes, Cyber Security als Vorstandsthema sowie Mindeststandards über die Lieferkette; für den deutschsprachigen Raum bieten die Vorgaben des BSI hierfür einen passenden Rahmen.
Check Point gliedert die Maßnahmen in drei Handlungsfelder: Schutz vor KI-gesteuerten Angriffen, da Angreifer über dieselben Fähigkeiten verfügen, die diese Tests offenlegen; Kontrolle über die eigene KI, also Wissen darüber, welche Agenten betrieben werden und worauf sie zugreifen dürfen; sowie kontinuierliche Prüfung statt Annahme von Sicherheit.
Für bereits produktiv eingesetzte Agenten helfen vier Einstiegsfragen: Welche Agenten werden betrieben, auch solche ohne Entwicklerrolle erstellt? Worauf kann jeder zugreifen? Welche Befugnisse gehen über das Vorgesehene hinaus? Würde eine Abweichung überhaupt bemerkt? Lautet die Antwort „Nein“, ist genau das die Lücke, die zuerst zu schließen ist.
Dr. Jakob Jung ist Chefredakteur Security Storage und Channel Germany. Er ist seit mehr als 20 Jahren im IT-Journalismus tätig. Zu seinen beruflichen Stationen gehören Computer Reseller News, Heise Resale, Informationweek, Techtarget (Storage und Datacenter) sowie ChannelBiz. Darüber hinaus ist er für zahlreiche IT-Publikationen freiberuflich tätig, darunter Computerwoche, Channelpartner, IT-Business, Storage-Insider und ZDnet. Seine Themenschwerpunkte sind Channel, Storage, Security, Datacenter, ERP und CRM.
Kontakt – Contact via Mail: jakob.jung@security-storage-und-channel-germany.de