KI-Systeme als Waffe – AI Systems Weaponized

Nach einer zehntägigen Untersuchung ordnet Anthropic die Operation einer mutmaßlich staatlich geförderten Gruppe aus China zu. Die Angreifer nutzten das Tool, um Aufklärung zu betreiben, Schwachstellen auszunutzen und Daten zu exfiltrieren. Laut dem Bericht des Unternehmens übernahmen die KI-Systeme 80 bis 90 Prozent der Arbeit, während menschliches Eingreifen nur an vier bis sechs kritischen Punkten pro Kampagne erforderlich war.

Umgehung von Sicherheitsvorkehrungen

Um die in Claude integrierten Schutzmechanismen zu umgehen, setzten die Angreifer auf eine Kombination aus Jailbreaking und Social Engineering. Sie zerlegten ihre Angriffsoperationen in kleine, scheinbar harmlose Aufgaben und gaben vor, Mitarbeiter einer legitimen Cybersicherheitsfirma zu sein, die autorisierte Penetrationstests durchführe. Diese Taktik entzog der KI den vollständigen Kontext über den wahren Zweck der Anfragen.

Nach der erfolgreichen Manipulation zeigte das System eine beachtliche Effizienz. Es identifizierte autonom hochwertige Ziele innerhalb von Organisationen, recherchierte und schrieb maßgeschneiderten Exploit-Code, sammelte Anmeldedaten und kategorisierte gestohlene Daten nach ihrem Wert. In Spitzenzeiten generierte das System Tausende von Anfragen, oft mehrere pro Sekunde – ein Tempo, das für menschliche Akteure nicht möglich wäre.

Kritik aus der Security-Community

Der von Anthropic veröffentlichte Report hat in der Sicherheitsbranche für kontroverse Diskussionen gesorgt. Kritiker bemängeln, dass wesentliche Informationen wie Indicators of Compromise fehlen und bezweifeln die Darstellung des Vorfalls als weitgehend autonomen Angriff. Laut Kritikern habe wahrscheinlich deutlich mehr menschliche Aktivität und Kontrolle stattgefunden als im Bericht dargestellt.

Dr. Martin Krämer, CISO-Advisor bei KnowBe4, ordnet den Vorfall in einen größeren Kontext ein: Bereits seit Jahren diskutiert die Security-Community über die mögliche Ausnutzung öffentlich zugänglicher KI-Tools. Eine komplette Automation eines Cyberangriffs, die selbstständig und erfolgreich von einem KI-Agenten durchgeführt wird, bleibt nach Einschätzung vieler Experten jedoch noch Zukunftsmusik.

Einsatzmöglichkeiten und Grenzen

Unbestritten ist, dass KI-Agenten bereits heute für Teilaufgaben in Cyberoperationen eingesetzt werden können. Dazu gehören die Zusammenstellung öffentlich zugänglicher Informationen, Reconnaissance, die Analyse von Schwachstellen oder die Bewertung technischer Sicherheitsmaßnahmen. All dies erfordert allerdings noch menschliche Intervention – Korrekturen, Nachrecherche und strategische Entscheidungen bleiben notwendig.

Anthropic hat als Reaktion seine Erkennungssysteme angepasst und Klassifikatoren zur Identifizierung bösartiger Aktivitäten verbessert. Das Unternehmen betont, dass Cybersicherheitsteams KI-Technologie künftig verstärkt für defensive Operationen einsetzen sollten, darunter Bedrohungserkennung, Schwachstellenbewertung und automatisierte Reaktion auf Vorfälle.

Der Vorfall zeigt, dass die Hürden für technisch anspruchsvolle Cyberangriffe sinken. KI-Tools ermöglichen es weniger erfahrenen Akteuren, Operationen durchzuführen, für die bisher spezialisierte Teams erforderlich waren. Gleichzeitig können dieselben Technologien auch Verteidigern neue Möglichkeiten bieten. Der Wettlauf zwischen KI-gestützten Angreifern und Verteidigern hat begonnen.

After a ten-day investigation, Anthropic attributed the operation to a suspected state-sponsored group from China. The attackers used the tool to conduct reconnaissance, exploit vulnerabilities, and exfiltrate data. According to Anthropic’s report, AI systems handled 80 to 90 percent of the work, requiring human intervention at only four to six critical points per campaign.

Bypassing security measures

To circumvent the protections built into Claude, the attackers used a combination of jailbreaking and social engineering. They broke their attack operations down into small, seemingly harmless tasks and pretended to be employees of a legitimate cybersecurity company conducting authorized penetration testing. This tactic deprived the AI of the full context of the true purpose of the requests.

Once successfully manipulated, the system demonstrated remarkable efficiency. It autonomously identified high-value targets within organizations, researched and wrote customized exploit code, collected login credentials, and categorized stolen data according to its value. At peak times, the system generated thousands of requests, often several per second – a pace that would be impossible for human actors.

Criticism from the security community

The report published by Anthropic has sparked controversial discussions in the security industry. Critics complain that essential information such as indicators of compromise is missing and doubt the portrayal of the incident as a largely autonomous attack. According to critics, there was probably significantly more human activity and control than portrayed in the report.

Dr. Martin Krämer, CISO advisor at KnowBe4, puts the incident into a broader context: The security community has been discussing the potential exploitation of publicly available AI tools for years. However, many experts believe that the complete automation of a cyberattack, carried out independently and successfully by an AI agent, is still a long way off.

Possible applications and limitations

It is undisputed that AI agents can already be used for specific tasks in cyber operations. These include compiling publicly available information, reconnaissance, analyzing vulnerabilities, and evaluating technical security measures. However, all of this still requires human intervention – corrections, follow-up research, and strategic decisions remain necessary.

Anthropic has responded by adapting its detection systems and improving classifiers for identifying malicious activity. The company emphasizes that cybersecurity teams should increasingly use AI technology for defensive operations in the future, including threat detection, vulnerability assessment, and automated incident response.

The incident shows that the barriers to technically sophisticated cyberattacks are lowering. AI tools enable less experienced actors to carry out operations that previously required specialized teams. At the same time, these same technologies can also offer new opportunities to defenders. The race between AI-powered attackers and defenders has begun.