Risiken von GenAI – GenAI Risks

Datensicherheit ist das Hauptrisiko, mit dem Unternehmen konfrontiert sind, wenn ihre Nutzer GenAI-Anwendungen einsetzen. Dieses Risiko ergibt sich aus zwei der beliebtesten Anwendungsfälle für GenAI in Unternehmen:

– Zusammenfassungen: GenAI-Apps fassen große Dokumente, große Datensätze und Quellcodes zusammen, was das Risiko birgt, dass Einzelpersonen sensible Daten zur Zusammenfassung an GenAI-Apps senden.

– Generierung: GenAI-Apps eignen sich hervorragend zur Generierung von Texten, Bildern, Videos und Quellcode. Dadurch besteht die Gefahr, dass Personen, die an sensiblen Projekten arbeiten, sensible Daten an GenAI-Apps senden, um Inhalte zu generieren oder zu verbessern.

Die Hauptursache für die mit der Nutzung verbundenen Datenrisiken liegt darin, dass die Synthese- und Generierungsanwendungsfälle erfordern, dass der Nutzer Daten an die GenAI-Anwendungen sendet, um einen Nutzen zu erzielen. Diese Risiken werden durch zusätzliche Faktoren wie die Anzahl der Apps auf dem Markt und die Verbreitung von GenAI-Apps als Schatten-IT im Unternehmen verschärft:

– Geistiges Eigentum: Geistiges Eigentum wird durch GenAI-Anwendungen gefährdet, wenn Benutzer versuchen, Kundenlisten, Verträge und andere Dokumente zu analysieren, die Geschäftsgeheimnisse oder vertrauliche Daten enthalten, die ein Unternehmen schützen möchte.

– Passwörter und Schlüssel: Passwörter und Schlüssel werden häufig durch GenAI-Anwendungen offengelegt, wenn sie in Code-Schnipsel eingebettet sind.

– Reglementierte Daten: Reglementierte Daten umfassen hochsensible personenbezogene Daten sowie Daten aus dem Gesundheits- und Finanzwesen und sind am ehesten für GenAI-Anwendungen in Branchen zugänglich, die mit solchen Daten arbeiten, insbesondere im Gesundheits- und Finanzwesen.

– Quellcode: Ein beliebter Anwendungsfall für GenAI-Anwendungen ist die Unterstützung bei der Zusammenfassung, Generierung oder Bearbeitung von Quellcode, wodurch verhindert wird, dass Benutzer versehentlich sensiblen Quellcode an nicht autorisierte Anwendungen weitergeben.

Der Einsatz von generativer KI in Unternehmen nimmt durch verschiedene Maßnahmen zu. Aus Sicht der Datensicherheit ist jedoch keine so wichtig wie die Menge der Daten, die an Anwendungen der generativen KI gesendet werden: Jeder Beitrag oder Upload ist eine Möglichkeit, Daten preiszugeben.

Das Wachstum der Datenmenge, die an GenAI-Anwendungen gesendet wird, übersteigt bei weitem das Wachstum der Anzahl der GenAI-Nutzer und der GenAI-Anwendungen. Während die Nutzerbasis von GenAI-Anwendungen auf absehbare Zeit relativ klein bleiben wird, werden die Datenrisiken mit der zunehmenden Nutzung von GenAI durch diese Bevölkerungsgruppe drastisch ansteigen.

Schatten-IT/Schatten-KI

Die Einführung von GenAI-Anwendungen in Unternehmen folgt dem typischen Muster neuer Cloud-Dienste: Einzelne Nutzer verwenden persönliche Accounts, um auf die Anwendung zuzugreifen.

Folglich kann der Großteil des Einsatzes von GenAI-Anwendungen in Unternehmen als Schatten-IT eingestuft werden, ein Begriff, der Lösungen beschreibt, die ohne das Wissen oder die Zustimmung der IT-Abteilung eingesetzt werden. Ein neuerer Begriff, Shadow AI, wurde speziell für den besonderen Fall von KI-Lösungen geprägt. Der Begriff „Schatten“ in Shadow IT und Shadow AI soll darauf hinweisen, dass es sich um versteckte, inoffizielle Anwendungen handelt, die außerhalb der Standardprozesse eingesetzt werden. Selbst heute, mehr als zwei Jahre nach der Veröffentlichung von ChatGPT, mit der der GenAI-Hype seinen Anfang nahm, verwendet die Mehrheit (72 %) der GenAI-Nutzer immer noch persönliche Konten, um auf ChatGPT, Google Gemini, Grammarly und andere beliebte GenAI-Anwendungen zuzugreifen.

Eine Möglichkeit, mit den Datenrisiken von Cloud-basierten GenAI-Anwendungen umzugehen, besteht darin, die GenAI-Infrastruktur lokal auszuführen. Organisationen wie DeepSeek und Meta, die ihre Modelle zum Download anbieten, Tools wie Ollama und LM Studio, die die lokale Ausführung ermöglichen, und Communities wie Hugging Face, die den Austausch von Modellen und Daten erleichtern, machen die lokale Ausführung immer leichter zugänglich. Einige Organisationen trainieren sogar ihre eigenen Modelle, verwenden Retrieval-Augmented Generation (RAG), um GenAI und Information Retrieval zu kombinieren, oder bauen ihre eigenen Werkzeuge um bestehende Modelle herum.

Der Übergang von GenAI-Anwendungen zu lokalen GenAI-Modellen verändert die Risikolandschaft und bringt einige zusätzliche Risiken mit sich. Die OWASP Top 10 für große Sprachmodellanwendungen bieten einen Rahmen, um diese Risiken zu betrachten, darunter die folgenden

– Lieferkette: Können Sie allen Tools und Modellen vertrauen, die Sie verwenden?

– Datenlecks: Gibt Ihr System sensible Informationen aus Trainings, angeschlossenen Datenquellen oder von anderen Benutzern preis?

– Unsachgemäße Verarbeitung des Outputs: Sind die Systeme, die den Output von GenAI verarbeiten, sicher?

Der Mitre-Atlas ist ein weiterer Rahmen für die Betrachtung von KI-Risiken. Er bietet einen detaillierten Überblick über Angriffe auf KI-Systeme. Wer selbstverwaltete GenAI-Systeme betreibt, muss auch diese Angriffe in Betracht ziehen: – Prompt-Injection: Können Angreifer Prompts so gestalten, dass das Modell unerwünschte Ergebnisse produziert?

– Jailbreaks: Können Angreifer Kontrollen, Einschränkungen und Schutzvorkehrungen umgehen?

– Extraktion von Meta-Prompts: Können Angreifer Details über die interne Funktionsweise des Systems herausfinden?

Mit anderen Worten: Der Wechsel von Cloud-basierten GenAI-Anwendungen zu lokal gehosteten GenAI-Modellen verringert zwar das Risiko, dass unerwünschte Daten an Dritte weitergegeben werden, birgt aber auch einige zusätzliche Risiken. Das Trainieren eigener Modelle oder die Verwendung von RAGs erhöhen diese Risiken.

Mehr als 99% der Unternehmen setzen Richtlinien um, um die mit GenAI-Anwendungen verbundenen Risiken zu mindern. Diese Richtlinien umfassen das Blockieren aller oder der meisten GenAI-Anwendungen für alle Benutzer, die Kontrolle, welche spezifischen Benutzergruppen GenAI-Anwendungen verwenden dürfen, und die Kontrolle der Daten, die in GenAI-Anwendungen verwendet werden dürfen.

Die Sperrung ist die einfachste Strategie zur Risikominderung und daher die beliebteste. Die Herausforderung beim Blockieren ist aber eine doppelte. Erstens kann das Blockieren Auswirkungen auf das Unternehmen haben, indem es die Produktivität der Benutzer einschränkt. Zweitens kann eine Sperre die Benutzer dazu veranlassen, kreativ zu werden, indem sie beispielsweise private Geräte oder private Mobilfunknetze nutzen, um die Sperre zu umgehen.

Echtzeit-Benutzerunterstützung ist effektiv, da sie den Benutzer in die Lage versetzt, die richtige Entscheidung zum richtigen Zeitpunkt zu treffen. Es trägt auch dazu bei, das Benutzerverhalten durch sofortiges Feedback und Anweisungen zu beeinflussen.

Data Loss Prevention (DLP) reduziert die mit GenAI-Anwendungen verbundenen Risiken, indem Anfragen und Daten, die an GenAI-Anwendungen gesendet werden, in Echtzeit überprüft werden. DLP kann auf der Grundlage von Regeln, die von Administratoren konfiguriert werden, entscheiden, ob Inhalte zugelassen oder blockiert werden sollen. Geistiges Eigentum, Geheimnisse, regulierte Daten und Quellcode sind die vier häufigsten Datentypen, deren Übertragung an GenAI-Anwendungen von Unternehmen eingeschränkt wird. CISOs und Sicherheitsverantwortliche, die diesen Artikel lesen, sollten sich ernsthafte Sorgen über die Datensicherheitsrisiken machen, die mit dem schnell wachsenden Einsatz von GenAI-Technologien verbunden sind. Cloud-basierte GenAI-Anwendungen und lokal gehostete GenAI-Modelle bergen ein wachsendes Risiko der unerwünschten Offenlegung von Daten und eine neue Reihe von Sicherheitslücken.

Zu den konkreten Schritten, die Unternehmen angehen sollten, gehören:

1. Bewerten Sie Ihre GenAI-Landschaft: Verstehen Sie, welche GenAI-Anwendungen und lokal gehosteten GenAI-Infrastrukturen Sie nutzen, wer sie nutzt und wie sie genutzt werden.
2. Verstärken Sie Ihre GenAI-Anwendungskontrollen: Überprüfen und vergleichen Sie Ihre Kontrollen regelmäßig mit Best Practices, z. B. indem Sie nur autorisierte Anwendungen zulassen, nicht autorisierte Anwendungen blockieren, DLP einsetzen, um zu verhindern, dass sensible Daten an nicht autorisierte Anwendungen weitergegeben werden, und Benutzer in Echtzeit coachen.
3. Bestandsaufnahme der lokalen Kontrollen: Wenn Sie eine GenAI-Infrastruktur lokal betreiben, prüfen Sie relevante Frameworks wie die OWASP Top 10 for Large Language Model Applications, das NIST AI Risk Management Framework und Mitre Atlas, um einen angemessenen Schutz von Daten, Anwendern und Netzwerken sicherzustellen.

Es ist von entscheidender Bedeutung, den Einsatz von KI in Ihrem Unternehmen kontinuierlich zu überwachen und sich über neue Entwicklungen im Bereich der KI-Ethik, regulatorische Änderungen und gegnerische Angriffe auf dem Laufenden zu halten. Alle Cyber- und Risikoverantwortlichen sollten KI-Governance- und Risikoprogrammen Priorität einräumen, um den sich entwickelnden Herausforderungen durch GenAI-Technologien und deren Übernahme durch Schatten-KI-Praktiken zu begegnen.

Generative AI Data Risks Data security is the primary risk that organizations face as their users adopt GenAI apps. This risk stems from two of the most popular use cases for GenAI in the enterprise:

– Summarization: GenAI apps excel at summarizing large documents, large data sets, and source code, creating the risk that individuals will send sensitive data to GenAI apps for summarization.

– Generation: GenAI apps excel at generating text, images, video, and source code, creating the risk that individuals working on sensitive projects will send sensitive data to GenAI apps to generate or enhance content.

The primary source of the data risks associated with their use is that the summarization and generation use cases require the user to send data to the GenAI applications in order to provide value. These risks are exacerbated by additional factors, such as the number of apps on the market and the proliferation of GenAI apps as shadow IT within the enterprise:

– Intellectual property: Intellectual property is exposed to GenAI apps when users attempt to analyze customer lists, contracts, and other documents containing trade secrets or confidential data that an organization wishes to protect.

– Passwords and keys: Passwords and keys are often exposed to GenAI applications when they are embedded in code snippets.

– Regulated data: Regulated data includes highly sensitive personal, healthcare, and financial data, and is most commonly exposed to GenAI applications in industries that work with such data, particularly healthcare and financial services.

– Source code: A popular use case for GenAI apps is to help summarize, generate, or edit source code, resulting in users inadvertently leaking sensitive source code to unauthorized applications.

The adoption of Generative AI in the enterprise is growing by many different measures. However, none are as important from a data security perspective as the amount of data being sent to GenAI apps: every post or upload is an opportunity for data exposure.

The growth in the amount of data sent to GenAI applications far outpaces the growth in the number of GenAI users and the number of GenAI applications. While the user base for GenAI apps will remain relatively small for the foreseeable future, the data risks will increase dramatically as the amount of GenAI used by this population increases.

Shadow IT/Shadow AI

Adoption of GenAI apps in the enterprise has followed the typical pattern of new cloud services: individual users using personal accounts to access the app. As a result, the majority of GenAI app use in the enterprise can be classified as shadow IT, a term used to describe solutions deployed without the knowledge or approval of IT. A newer term, shadow AI, has been coined specifically for the particular case of AI solutions. The term „shadow“ in shadow IT and shadow AI is meant to evoke the idea that the applications are hidden, unofficial, and operate outside of standard processes. Even today, more than two years after the release of ChatGPT kicked off the GenAI craze, the majority (72%) of GenAI users still use personal accounts to access ChatGPT, Google Gemini, Grammarly, and other popular GenAI apps at work.

One way to manage the data risks posed by cloud-based GenAI applications is to run the GenAI infrastructure locally. Local execution is becoming more accessible, made possible by organizations like DeepSeek and Meta that have made their models available for download, tools like Ollama and LM Studio that provide tools to enable local execution, and communities like Hugging Face that facilitate model and data sharing. Some organizations are even training their own models, using retrieval-augmented generation (RAG) to combine GenAI and information retrieval, or building their own tooling around existing models.

Moving from using GenAI applications to local GenAI models changes the risk landscape and introduces several additional risks. The OWASP Top 10 for Large Language Model Applications provides a framework for thinking about these risks, which include

– Supply Chain: Can you trust all the tools and models you use?

– Data Leakage: Does your system expose sensitive information from training, connected data sources, or other users?

– Improper output handling: Do any systems that handle GenAI output do so securely?

Mitre Atlas is another framework for considering AI risk. It provides a granular view of attacks on AI systems. Those running self-managed GenAI systems must also consider these attacks, which include

– Prompt injection: Can adversaries craft prompts to cause the model to produce unwanted outputs?

– Jailbreaks: Can adversaries bypass controls, constraints, and guardrails?

– Meta prompt extraction: Can adversaries reveal details about the inner workings of the system?

In other words, moving from cloud-based GenAI applications to locally hosted GenAI models reduces the risk of unwanted data exposure to a third party, but introduces several additional risks. Training your own models or using RAG increases these risks.

More than 99% of organizations enforce policies to mitigate the risks associated with GenAI applications. These policies include blocking all or most GenAI apps for all users, controlling which specific user groups can use GenAI apps, and controlling the data allowed into GenAI apps.

Blocking is the most straightforward risk mitigation strategy and therefore the most popular. The challenge with blocking is twofold. First, blocking can impact the business by limiting user productivity. Second, blocking can drive users to get creative, such as using personal devices or personal mobile networks to get around blocks.

Real-time user coaching is effective because it empowers the user to make the right decision in the moment. It also helps shape user behavior by providing immediate feedback and guidance.

Data loss prevention (DLP) reduces the risks associated with GenAI applications by inspecting prompts and data sent to GenAI applications in real time. DLP can decide whether to allow or block content based on rules configured by administrators. Intellectual property, secrets, regulated data, and source code are the four most common types of data that organizations restrict from being shared with GenAI apps CISOs and security leaders reading this should be deeply concerned about the data security risks associated with the rapidly growing use of GenAI technologies. Cloud-based GenAI applications and locally hosted GenAI models introduce a growing risk of unwanted data exposure and a new set of security vulnerabilities.

Specific steps organizations can take include the following:

1. Assess your GenAI landscape: Understand what GenAI applications and locally hosted GenAI infrastructure you are using, who is using them, and how they are being used.
2. Strengthen your GenAI app controls: Regularly review and benchmark your controls against best practices, such as allowing only approved apps, blocking unauthorized apps, using DLP to prevent sensitive data from being shared with unauthorized apps, and using real-time user coaching.
3. Inventory your local controls: If you run any GenAI infrastructure locally, review relevant frameworks such as the OWASP Top 10 for Large Language Model Applications, NIST AI Risk Management Framework, and Mitre Atlas to ensure adequate protection of data, users, and networks.

It is critical to continually monitor the use of GenAI within your organization and stay abreast of new developments in AI ethics, regulatory changes, and adversarial attacks. All cyber and risk leaders should prioritize AI governance and risk programs to address the evolving challenges posed by GenAI technologies and their adoption through shadow AI practices.