Risiken künstlicher Intelligenz – Artificial Intelligence Risks

Experten zufolge erhöhen KI-Technologien das Risiko ausgefeilter Cyberangriffe sogar massiv: Einige beliebte Chatbots erleichtern Phishing-Angriffe, erstellen fehlerfrei gefälschte Konten auf Social-Media-Plattformen und sind in der Lage, Viren so umzuschreiben, dass sie andere Programmiersprachen angreifen können. Zudem werden auch KI-Trainingsdaten gespeichert oder potenziell an Dritte weitergegeben.

KI-Technologien erstellen Daten und treffen Entscheidungen. Schon allein deshalb spielt künstliche Intelligenz bei einem Cybersicherheitsvorfall eine wichtige Rolle, und zwar in zweierlei Hinsicht: Sie kann selbst zur Bedrohung werden oder aber die Zielscheibe sein. Das ist zum Beispiel der Fall, wenn man eine vorausschauende KI mit böswilligen Eingaben speist, die ihr beispielsweise etwas vorgaukeln, das gar nicht vorhanden ist. Oder sie

sorgt dafür, dass etwas übersehen wird, das zwar vorhanden, aber getarnt ist.

Vorausschauende KI ist die Art von künstlicher Intelligenz, die beispielsweise selbstfahrende Autos antreibt. Der vor einigen Jahren veröffentlichte „Salt Circle“ etwa zeigt,

wie man aufgezeichnete Verkehrslinien, die eine KI nicht überqueren will, umgeht, indem man einen Kreis um das Fahrzeug zieht, und es so an Ort und Stelle hält.

Andere Angriffe nehmen beispielsweise Algorithmen zur Gesichtserkennung ins Visier oder versuchen Überwachungsmechanismen zu stören. Bei jeder KI, die Daten für Benutzer erstellt, können auch Trainingsdaten, Informationen über das zugrundliegende Modell oder andere Daten offengelegt werden. Ein Beispiel ist die KI, die Microsoft in seine Suchmaschine Bing eingebaut hat. Schon kurz nach der Ankündigung ist es einem Sicherheitsforscher gelungen, den Bot dazu bringen, die private Eingabeaufforderung, die Microsoft zur Anpassung von ChatGPT für Bing verwendet hatte, Zeile für Zeile zu wiederholen. Daraus resultiert einiges an Risikopotenzial – es hätten die innere Funktionsweise der Konfiguration, Secrets oder zusätzliche Informationen offengelegt werden können – solche, die für die weitere Nutzung des Modells äußerst nützlich wären.

Die von KI ausgehenden Bedrohungen sind an sich nicht neu. Jedenfalls nicht, was die Struktur der Angriffe anbelangt. Was KI allerdings sehr wohl kann, ist, einen geschickten Angreifer/Threat Actor immer besser unterstützen und seinen Output vervielfachen.

Phishing-Angriffe auf Basis von Social Engineering und mittels einer KI sind zwar nicht zwangsläufig überzeugender als von Menschen verfasste E-Mail-Nachrichten. Aber eine generative KI kann in der gleichen Zeit ein Vielfaches an Nachrichten verfassen, so dass ein Phishing-Angriff sehr viel mehr potenzielle Opfer erreicht. Ähnliches gilt für KI-generierte Malware. Auch sie ist nicht per se „besser“ als von Menschen geschriebene Schadsoftware. Allerdings kann ein erfahrener Programmierer mit Hilfe generativer KI in weniger Zeit deutlich mehr Code schreiben. Was wiederum heißt: mehr Malware in immer kürzerer Zeit.

Umgekehrt ist beim Einsatz von KI das Modell selbst anfällig für neue Formen von Angriffen. Dank moderner Schutzmechanismen in Browsern und Betriebssystemen werden Bilder schon seit einigen Jahren nicht mehr als Angriffsvektoren betrachtet. Aber bei einer KI, die Elemente eines Fotos erkennen und Entscheidungen treffen soll, werden manipulierte Fotos zu einem der primären Angriffsvektoren. Auch bei der Manipulation von Videoinhalten wird KI genutzt. Mitte letzten Jahres fand ein Zoom-Telefonat statt, anscheinend zwischen Bürgermeistern europäischer Städte und einer Person, die sich als der ukrainische Staatschef ausgab. Bei diesem Anruf handelte es sich um einen Deepfake in Echtzeit, der es einem Angreifer gestattet, Video- und Audioaufnahmen von Selenskyj zu erstellen und auf Fragen und Gespräche in Echtzeit zu reagieren.

Die Bedrohung durch generative KI besteht darin, dass die Fälschung von Daten, die bisher alles andere als trivial war, z. B. Live-Video und -Audio oder Fotomanipulationen in Echtzeit, jetzt genau das ist: simpel. Da es bislang eher schwierig war, Zoom-Video- und Audioinhalte zu fälschen, konnte man der Identität des Anrufers gewöhnlich vertrauen, wenn man das betreffende Gesicht erkannt hat. Benutzername und ein Passwort waren hinsichtlich der Sicherheit ausreichend, und ein Server konnte darauf vertrauen, dass der Inhaber des Secrets auch tatsächlich der betreffende Benutzer war. Das galt genau bis zu dem Zeitpunkt, an dem Passwort-Dumps so weit verbreitet waren, dass Credential Stuffing, also die Wiederverwendung von gedumpten Benutzernamen- und Passwortkombinationen bei verschiedenen Diensten, zu einer immensen Bedrohung geworden war. Zwei-Faktor-Authentifizierung (2FA) wurde zum neuen Mindeststandard für Sicherheit bei der Anmeldung.

Das verlorengegangene Vertrauen in die Sicherheit von Benutzernamen und Passwörtern hat zur Identitätsüberprüfung über einen externen Kanal geführt. Genauso müssen Benutzer eine Möglichkeit haben, unabhängig zu bestätigen, dass sie nicht mit einem Deep-Fake interagieren. Das bedeutet, dass das Vertrauen, was nicht mehr den Inhalten gelten kann, auf einen anderen Kanal übertragen werden muss. Web3 ist potenziell in der Lage, dieses Bedürfnis zu befriedigen. Web3 gestattet es einem Benutzer, den Nachweis seiner Identität in einem öffentlichen Bereich in Form eines öffentlichen Schlüssels zu hinterlegen. Dieser muss dann mit einem geheimen Schlüssel übereinstimmen. Dieser private Schlüssel verbleibt beim Benutzer und kommt erst dann zum Einsatz, wenn der Nutzer einen Zoom-Anruf tätigt. Der Empfänger des Anrufs kann dann den öffentlichen Schlüssel überprüfen, der mit der Identität des Anrufers verknüpft ist. Dazu gleicht er ihn mit einer Signatur ab, die mit dem privaten Schlüssel des Anrufers erzeugt wurde. Stimmen beide überein, kann man mit großer Sicherheit davon ausgehen, dass der Benutzer derselbe ist, der seine ID in das Blockchain-Ledger eingegeben hat.

Eines scheint jedenfalls klar zu sein: Dank der mit KI-Technologien verbundenen Cybersicherheitsrisiken schlagen wir in punkto Risikomanagement ein neues Kapitel auf.

According to experts, AI technologies actually massively increase the risk of sophisticated cyberattacks: some popular chatbots facilitate phishing attacks, flawlessly create fake accounts on social media platforms, and are capable of rewriting viruses to attack other programming languages. In addition, AI training data is also stored or potentially shared with third parties.

AI technologies create data and make decisions. For this reason alone, artificial intelligence plays an important role in a cybersecurity incident in two ways: it can become a threat itself or it can be the target. That’s the case, for example, when you feed a predictive AI with malicious input that, for example, makes it believe something that isn’t there. Or it

ensures that something is overlooked that is present but disguised.

Predictive AI is the kind of artificial intelligence that powers self-driving cars, for example. The „Salt Circle,“ for example, released a few years ago, shows,

how to avoid recorded traffic lines that an AI doesn’t want to cross by drawing a circle around the vehicle, keeping it in place.

Other attacks, for example, target facial recognition algorithms or attempt to disrupt surveillance mechanisms. For any AI that creates data for users, training data, information about the underlying model, or other data may also be exposed. One example is the AI that Microsoft has built into its Bing search engine. Shortly after the announcement, a security researcher managed to get the bot to repeat, line by line, the private prompt Microsoft used to customize ChatGPT for Bing. This results in some potential risk – it could have exposed the inner workings of the configuration, secrets or additional information – ones that would be extremely useful for further use of the model.

The threats posed by AI are not new in themselves. At least not as far as the structure of the attacks is concerned. However, what AI can do very well is to support a skilled attacker/threat actor better and better and multiply its output.

Phishing attacks based on social engineering and using an AI are not necessarily more convincing than email messages composed by humans. But a generative AI can compose many times more messages in the same amount of time, allowing a phishing attack to reach many more potential victims. The same is true for AI-generated malware. It, too, is not per se „better“ than malware written by humans. However, an experienced programmer can write significantly more code in less time using generative AI. Which in turn means more malware in less and less time.

Conversely, when AI is used, the model itself is vulnerable to new forms of attack. Thanks to modern protection mechanisms in browsers and operating systems, images have not been considered attack vectors for several years now. But with AI designed to recognize elements of a photo and make decisions, manipulated photos become one of the primary attack vectors. AI is also being used to manipulate video content. In the middle of last year, a Zoom phone call took place, apparently between mayors of European cities and a person claiming to be the Ukrainian head of state. This call was a real-time deepfake, allowing an attacker to create video and audio recordings of Selenskyj and respond to questions and conversations in real time.

The threat posed by generative AI is that faking data that was previously anything but trivial, such as live video and audio or real-time photo manipulation, is now just that: simple. Since it was previously rather difficult to fake Zoom video and audio, the identity of the caller could usually be trusted if the face in question was recognized. A username and password were sufficient in terms of security, and a server could trust that the owner of the secret was indeed the user in question. This was true right up until password dumps became so widespread that credential stuffing, the reuse of dumped username and password combinations across different services, had become an immense threat. Two-factor authentication (2FA) became the new minimum standard for login security.

Lost confidence in the security of usernames and passwords has led to identity verification via an external channel. Likewise, users must have a way to independently confirm that they are not interacting with a deep fake. This means that trust, which can no longer apply to content, must be transferred to another channel. Web3 is potentially able to satisfy this need. Web3 allows a user to store proof of identity in a public area in the form of a public key. This must then match a private key. This private key remains with the user and is only used when the user makes a Zoom call. The recipient of the call can then verify the public key associated with the caller’s identity. To do this, it matches it against a signature generated with the caller’s private key. If the two match, it can be assumed with a high degree of certainty that the user is the same one who entered his ID into the blockchain ledger.

In any case, one thing seems clear: Thanks to the cybersecurity risks associated with AI technologies, we are turning over a new leaf in terms of risk management.