Gefahr durch Schatten-KI – The Danger of Shadow AI

1. Kontrollverlust vermeiden

Public-Cloud-Dienste haben in der Vergangenheit eine Goldgräberstimmung ausgelöst, in deren Sog Mitarbeiterinnen und Mitarbeiter mit wenigen Klicks Unternehmensdaten in externe Dienste hochgeladen haben. Die IT verlor zeitweise die Kontrolle über die Unternehmensdaten und musste Sicherheits- und Compliance-Risiken in Kauf nehmen. Die Schatten-IT war geboren.

Ähnliches erwarten die Befragten nun von der KI, wie die Umfrage zeigt. Compliance- und Datenschutzrisiken werden von 34 bzw. 31 Prozent als größte Sorgen genannt. 30 Prozent der Unternehmensvertreter befürchten, dass KI auch ungenaue oder falsche Ergebnisse ausspucken könnte. Schließlich wissen die meisten Nutzer noch nicht, wie sie optimal mit KI-Engines interagieren sollen. Nicht zuletzt sind auch die generativen KI-Lösungen noch neu und nicht alle ausgereift.

Die Medien haben schon oft über Unternehmen berichtet, die diese Erfahrung gemacht haben. Im April 2023 haben Ingenieure bei Samsung Firmengeheimnisse in ChatGPT hochgeladen und damit zum Lernstoff einer globalen KI gemacht – der Worst Case aus Sicht von Compliance und Intellectual Property.

Da die Innovationszyklen in der KI extrem kurz sind, explodiert das Angebot an neuen Ansätzen, Konzepten und Lösungen. Für Sicherheits- und IT-Teams ist es extrem schwierig, mit diesem Tempo Schritt zu halten und die jeweiligen Angebote auf Herz und Nieren zu prüfen. Oft sind sie gar nicht involviert, weil eine Business Unit wie im Fall der Cloud längst einen Service nutzt – nach der Schatten-IT entsteht nun eine Schatten-KI und mit ihr ein enormer Kontrollverlust.

2. Gefahren bewusst machen

Gleichzeitig werden immer neue Formen des möglichen Missbrauchs von KI bekannt. Forscher der Cornell University in den USA und des Technion-Instituts in Israel haben mit Morris II einen Computerwurm entwickelt, der sich autonom im Ökosystem der öffentlichen KI-Assistenten verbreitet. Den Forschern ist es gelungen, den Algorithmen des Wurms beizubringen, die Sicherheitsvorkehrungen von drei bekannten KI-Modellen zu umgehen: Gemini Pro von Google, GPT 4.0 von OpenAI und LLaVA. Dem Wurm gelang es auch, sensible Daten wie Namen, Telefonnummern und Kreditkarteninformationen zu extrahieren.

Die Forscher teilen ihre Ergebnisse mit den Betreibern, damit diese die Lücken schließen und die Sicherheitsvorkehrungen verbessern können. Aber es scheint, dass dies eine neue offene Flanke auf dem Cyber-Schlachtfeld ist, auf dem sich Hacker und Betreiber seit Jahrzehnten mit Malware, Spam und Ransomware bekämpfen.

3. Tempo ja, Hektik nein

IT-Teams werden nicht in der Lage sein, die Uhr zurückzudrehen und KI aus den Unternehmensnetzwerken fernzuhalten. Daher sind Verbote in der Regel kein geeignetes Mittel. Die IT kann und sollte sich aber auch nicht zu Hektik und Schnellschüssen verleiten lassen, sondern die Kontrolle über ihre Daten und die KI zurückgewinnen.

Herstellergetriebene KI-Ansätze wie Cohesity Gaia sind oft per Definition auf die eigene Umgebung beschränkt und legen offen, wie sie arbeiten. So können IT-Teams das Risiko genau einschätzen und einen möglichen externen Datenaustausch ausschließen. Die KI ist in sich geschlossen und kann kontrolliert eingeführt werden. Außerdem können die IT-Teams sehr selektiv vorgehen, welche internen Systeme und Datenquellen die KI-Module aktiv untersuchen. Man kann mit einem kleinen Cluster beginnen und so die KI sehr kontrolliert einführen.

Die zugrunde liegende Cohesity Data Cloud nutzt granulare, rollenbasierte Zugriffskontrollen und einen Zero-Trust-Ansatz, um sicherzustellen, dass nur autorisierte Benutzer und Modelle auf die Daten zugreifen können. So können bereits implementierte KI-Modelle von Dritten gezähmt werden, indem genau festgelegt wird, auf welche Daten diese Modelle überhaupt zugreifen dürfen. Dies ist ein entscheidender Vorteil, um die unkontrollierte Dynamik von KI zu bremsen, denn so lassen sich Datenflüsse genau steuern, sensible Informationen schützen und gesetzliche Vorgaben einhalten.

1. Avoid loss of control

In the past, public cloud services created a gold-rush atmosphere in which employees uploaded corporate data to external services with just a few clicks. IT temporarily lost control of corporate data and faced security and compliance risks. Shadow IT was born.

Respondents now expect something similar from AI, according to the survey. Compliance and privacy risks were cited as top concerns by 34 percent and 31 percent, respectively. 30 percent of respondents are also concerned that AI will produce inaccurate or incorrect results. Finally, most users do not yet know how to best interact with AI engines. Finally, generative AI solutions are still new and not all are mature.

The media has often reported on companies that have experienced this. In April 2023, engineers at Samsung uploaded company secrets to ChatGPT and turned them into learning material for a global AI-a worst-case scenario from a compliance and intellectual property perspective.

Because AI innovation cycles are extremely short, the range of new approaches, concepts, and solutions is exploding. It is extremely difficult for security and IT teams to keep up with the pace and vet the offerings. Often they are not even involved because a business unit has been using a service for a long time, as in the case of the cloud – Shadow IT is now followed by Shadow AI and a huge loss of control.

2. Make people aware of the dangers

At the same time, new forms of potential misuse of AI are appearing on the radar. Researchers at Cornell University in the US and the Technion Institute in Israel have developed Morris II, a computer worm that spreads autonomously in the ecosystem of public AI assistants. The researchers were able to teach the worm’s algorithms to bypass the security of three popular AI models: Google’s Gemini Pro, OpenAI’s GPT 4.0, and LLaVA. The worm was also able to extract sensitive data such as names, phone numbers and credit card information.

The researchers are sharing their findings with operators so they can close the loopholes and improve security measures. But this appears to be a new open flank on the cyber battlefield where hackers and operators have been battling each other for decades with malware, spam and ransomware.

3. Speed Yes, Hustle No

IT teams will not be able to turn back the clock and keep AI out of corporate networks. Therefore, bans are generally not the way to go. However, IT cannot and should not be tempted to rush and make quick decisions, but instead must regain control of its data and AI.

Vendor-driven AI approaches, such as Cohesity Gaia, are often by definition limited to their own environment and open about how they work. This allows IT teams to accurately assess risk and eliminate the possibility of external data sharing. AI is self-contained and can be deployed in a controlled manner. IT teams can also be very selective about which internal systems and data sources the AI modules actively examine. They can start with a small cluster and introduce AI in a very controlled manner.

The underlying Cohesity Data Cloud uses granular, role-based access controls and a zero-trust approach to ensure that only authorized users and models can access the data. This allows existing third-party AI models to be tamed by defining exactly what data those models can access. This is a critical advantage in slowing down the uncontrolled dynamics of AI, as it allows data flows to be precisely controlled, sensitive information to be protected, and regulatory requirements to be met.