KI-Halluzination – AI hallucination

Immer mehr Unternehmen setzen generative KI (GenAI) ein, um ihren Mitarbeitenden beispielsweise den Zugang zu internem Wissen zu erleichtern, Dokumente und Texte zu verfassen oder den Kundenservice zu verbessern. Doch so vielseitig und leistungsfähig KI-Modelle inzwischen auch sind, ihre Ergebnisse sind nicht immer korrekt: Sie können falsche oder ungenaue Informationen liefern oder unfaire, diskriminierende Entscheidungen treffen. Die Gründe für Fehler, Halluzinationen und Voreingenommenheit sind vielfältig und reichen von ungeeigneten KI-Modellen über minderwertige Trainingsdaten bis hin zur Manipulation der KI selbst. Dell Technologies erläutert, was Unternehmen tun können, um ihre KI-Anwendungen zuverlässiger, fairer und vertrauenswürdiger zu machen:

1. Passende KI-Modelle auswählen: Obwohl Large Language Models (LLMs), die die Basis vieler GenAI-Anwendungen sind, mit riesigen Datenmengen trainiert werden, sind sie nicht allwissend. Dennoch versuchen sie möglichst immer, eine plausibel klingende Antwort zu geben, selbst wenn sie sich diese ausdenken müssen. Bei kleineren, domänenspezifischen Modellen ist das Risiko solcher Halluzinationen deutlich geringer – sie besitzen zwar kein so breit gestreutes Wissen wie LLMs, dafür aber mehr Spezialwissen in einem bestimmten Bereich. Unternehmen sollten daher lieber ein zum jeweiligen Anwendungsfall passendes Modell wählen, als zu versuchen, alle Anwendungsfälle mit einem LLM abzudecken. Darüber hinaus ist die Entscheidung für ein europäisches oder Open-Source-Modell sinnvoll, da bei diesen besser nachvollziehbar ist, mit welchen Daten und nach welchen Regeln sie trainiert wurden. Das macht es einfacher, Wissenslücken und fehlerhafte Ergebnisse zu erkennen.
2. KI mit internen Daten füttern: Um gute Antworten zu liefern, benötigen KI-Modelle neben dem Wissen, das ihnen vorab antrainiert wurde, auch interne Informationen des Unternehmens, die zum jeweiligen Anwendungsfall passen. Diese Informationen können durch ein Fine-Tuning ins Modell integriert werden, was die Gefahr von Halluzinationen weiter senkt. Die Informationen können dem Modell aber auch via Retrieval-Augmented Generation (RAG) zur Verfügung gestellt werden – es nutzt dann lediglich seine generativen Fähigkeiten und bezieht das Wissen aus den eingebundenen Datenbanken und Dokumenten. Beide Ansätze lassen sich auch in Kombination einsetzen: Das Fine-Tuning sorgt dann dafür, dass das Modell die Anfragen besser versteht und Antworten fachgerecht formuliert, während RAG eine stets aktuelle Datenbasis bereitstellt.
3. Auf hohe Datenqualität achten: Trainieren Unternehmen eigene KI-Modelle oder fine-tunen bestehende Modelle, müssen sie dafür ausgewogene und hochwertige Daten verwenden. Andernfalls kann das Modell keine korrekten, fairen und vorurteilsfreien Antworten generieren. Oft reicht es schon, dass veraltete oder redundante Trainingsdaten zum Einsatz kommen, um ein Modell zu beeinträchtigen. Alte Daten, die nicht mehr gesellschaftlichen Standards entsprechen, können beispielsweise dazu führen, dass die KI-Ausgaben diskriminierend sind oder Stereotype enthalten. Redundante Informationen wiederum können für eine zu starke Gewichtung bestimmter Themen, Fakten und Meinungen sorgen. Ein modernes Datenmanagement, mit dem sich strukturierte Daten über alle Systeme und Speicherorte hinweg einheitlich ansprechen lassen, erleichtert es, Daten zu prüfen, zu bereinigen und flexibel für verschiedene KI-Modelle bereitzustellen.
4. Antworten mit Quellenangaben versehen: Bezieht das KI-Modell sein Wissen via RAG von internen Datenbanken und File Shares, können Unternehmen die Ausgaben ihrer GenAI-Anwendungen so gestalten, dass sie auch Quellenangaben enthalten. Diese erlauben es Mitarbeitern, die Antworten zu überprüfen – etwa stichprobenartig oder wenn sie unplausibel erscheinen. Um Anfragen optimal zu formulieren, Ergebnisse zu hinterfragen und im Zweifelsfall zu verifizieren, benötigen Mitarbeiter allerdings Trainings. Anschließend sammeln sie am besten schnell Erfahrungen in der Praxis, wobei erfahrenere Kollegen als Ansprechpartner zur Verfügung stehen sollten, um bei Fragen oder Problemen zu unterstützen.
5. Leitplanken für die KI setzen: Durch entsprechend formulierte Prompts können KI-Modelle unter Umständen dazu gebracht werden, unangemessene Sprache zu benutzen, vertrauliche Daten preiszugeben oder gefährliche Inhalte wie Malware-Code zu generieren. Unternehmen sollten das mit sogenannten Guardrails verhindern. Dabei handelt es sich um Schutzmechanismen, die alle Eingaben und Ausgaben überprüfen und sicherstellen, dass die KI keine themenfremden Anfragen oder bekannte Jailbreaking-Prompts bearbeitet und dass personenbezogene Daten sowie Hassrede und verletzende Sprache ausgefiltert werden.
6. Manipulationen an Trainingsdaten verhindern: Auch eine absichtliche Manipulation der Trainingsdaten kann zu falschen, ungenauen, unfairen oder diskriminierenden Ausgaben der KI führen. Es ist äußerst schwierig und aufwendig, diese Manipulationen zu erkennen und die veränderten Datensätze aufzuspüren, um sie zu entfernen beziehungsweise wieder in ihren Ursprungszustand zu versetzen. Besser ist es daher, das Trainingsmaterial durch proaktive Sicherheitsmaßnahmen zu schützen. Hierzu zählen neben Security Basics wie sicheren Passwörtern und Multifaktor-Authentifizierung auch moderne Sicherheitskonzepte wie Zero Trust. Sie verhindern unter anderem durch eine minimale Vergabe von Berechtigungen und eine konsequente Verifizierung aller Zugriffe, dass Unbefugte die Daten manipulieren. Darüber hinaus helfen fortschrittliche Sicherheits- und Entwicklungstools, ungewöhnliche Zugriffe und Veränderungen an den Daten aufzuspüren und Schwankungen in der Genauigkeit von KI-Modellen zu erkennen.
7. Risikobewertungen für KI-Entscheidungen vornehmen: Alle genannten Maßnahmen reduzieren das Risiko, dass die KI falsch liegt. Allerdings gibt es Bereiche, in denen auch ein geringes Risiko nicht hinnehmbar ist, etwa wenn es um sensible Lebensbereiche von Menschen oder sicherheitskritische Aufgaben geht. Deshalb sollten Unternehmen eine Risikobewertung vornehmen und die Folgen von falschen oder unfairen Antworten und Entscheidungen abklären. Anschließend können sie festlegen, in welchen Bereichen die KI weitgehend autonom agieren darf und in welchen Bereichen eine Überprüfung und gegebenenfalls eine Anpassung der generierten Inhalte durch Mitarbeiter notwendig ist. Insbesondere dort, wo Sicherheits- und Geschäftsrisiken bestehen, müssen Kontrollmechanismen eingebaut werden und menschliche Mitarbeiter die finalen Entscheidungen fällen.

„Mit den richtigen Maßnahmen können Unternehmen fehlerhafte und unerwünschte KI-Ausgaben verhindern. Ihre KI-Anwendungen liefern dann sehr genaue und ausgewogene Ergebnisse“, erklärt Jan Koch, AI Business Development Manager DACH bei Dell Technologies. „Zu einem verantwortungsvollen KI-Einsatz zählt aber auch, den Ausgaben nicht blind zu vertrauen und vor allem in sicherheits- und geschäftskritischen Bereichen einen Menschen hinzuzuziehen. Er kann neben seiner Erfahrung und seinem Fachwissen auch gesunden Menschenverstand einbringen, um die KI-Inhalte zu bewerten und bei Bedarf zu korrigieren.“

More and more companies are using generative AI (GenAI) to help employees access internal knowledge, write documents and texts, and improve customer service. But as versatile and powerful as AI models have become, their results are not always correct: they can provide incorrect or inaccurate information, or make unfair, discriminatory decisions. The reasons for errors, hallucinations, and biases are many and varied, ranging from inappropriate AI models to poor training data to manipulation of the AI itself. Dell Technologies explains what organizations can do to make their AI applications more reliable, fair, and trustworthy:

1. Select appropriate AI models: Although Large Language Models (LLMs), which are the foundation of many GenAI applications, are trained on huge amounts of data, they are not omniscient. Nevertheless, they always try to give a plausible answer, even if they have to invent it. With smaller, domain-specific models, the risk of such hallucinations is much lower – they may not have the same breadth of knowledge as LLMs, but they have more specialized knowledge in a particular area. It is therefore better for companies to choose a model that fits the use case rather than trying to cover all use cases with one LLM. It also makes sense to choose a European or open source model because it is easier to understand what data and rules were used to train them. This makes it easier to identify knowledge gaps and incorrect results.
2. Feed AI with internal data: To provide good answers, AI models need not only the knowledge they have been trained on, but also internal information from the organization that is relevant to the use case. This information can be incorporated into the model through fine-tuning, further reducing the risk of hallucination. Alternatively, the information can be made available to the model via RAG (Retrieval Augmented Generation), in which case the model uses only its generative capabilities and obtains the knowledge from the integrated databases and documents. Both approaches can also be used in combination: Fine-tuning then ensures that the model understands the queries better and formulates answers professionally, while RAG provides a database that is always up to date.
3. Ensure high data quality: When companies train their own AI models or fine-tune existing models, they must use balanced and high-quality data. Otherwise, the model cannot generate correct, fair and unbiased answers. It is often enough to use outdated or redundant training data to compromise a model. For example, old data that no longer meets social standards can cause AI output to be discriminatory or stereotypical. Redundant information, on the other hand, can give too much weight to certain issues, facts, and opinions. Modern data management, which allows structured data to be addressed consistently across systems and storage locations, makes it easier to verify, cleanse, and flexibly deliver data to different AI models.
4. Provide responses with citations: When the AI model derives its knowledge via RAG from internal databases and file shares, organizations can design the output of their GenAI applications to include source citations. This allows employees to review the answers, for example, on a random basis or if they seem implausible. However, employees need to be trained on how to best formulate queries, challenge results, and verify when in doubt. They should then quickly gain practical experience, with more experienced colleagues available to help with questions or problems.
5. Set guardrails for AI: Inappropriately worded prompts can potentially cause AI models to use inappropriate language, disclose confidential data, or generate dangerous content such as malware code. Organizations should prevent this with guardrails. These are protections that check all inputs and outputs to ensure that the AI is not processing off-topic requests or known jailbreaking prompts, and that personal data, hate speech, and offensive language are filtered out.
6. Prevent tampering with training data: Intentional manipulation of training data can also lead to false, inaccurate, unfair, or discriminatory output from the AI. It is extremely difficult and time-consuming to detect these manipulations and track down the altered records to remove them or restore them to their original state. Therefore, it is better to protect the training material with proactive security measures. In addition to security basics such as strong passwords and multi-factor authentication, these include modern security concepts such as zero trust. Among other things, it prevents unauthorized individuals from manipulating data by assigning minimal permissions and consistently verifying all access. In addition, advanced security and development tools help detect unusual access and changes to data, as well as fluctuations in the accuracy of AI models.
7. Perform risk assessments on AI decisions: All of the above reduce the risk of AI getting it wrong. However, there are areas where even low risk is unacceptable, such as when it comes to sensitive areas of people’s lives or safety-critical tasks. Organizations should conduct a risk assessment and understand the consequences of incorrect or unfair answers and decisions.

They can then determine in which areas the AI can act largely autonomously and in which areas it is necessary for humans to review and adjust the generated content. In particular, where there are security risks and business risks, control mechanisms must be built in and human employees must make the final decisions.

„Companies can prevent incorrect and unwanted AI output with the right measures in place. Their AI applications will then deliver very accurate and balanced results,“ said Jan Koch, AI Business Development Manager DACH at Dell Technologies. „However, responsible use of AI also means not blindly trusting the output and involving a human. This is especially true in security and business-critical areas. In addition to their experience and expertise, they can also contribute common sense to evaluate the AI content and correct it if necessary.“