Falsche Entscheidungen sind das größte KI-Sicherheitsrisiko. Ein Gastbeitrag von Assaf Keren, Chief Security Officer bei Qualtrics.
Unternehmen setzen Künstliche Intelligenz zunehmend für operative Entscheidungen ein – von der Kundenkommunikation bis zur Personalentwicklung. Doch je mehr KI-Systeme eigenständig handeln, desto gravierender werden die Folgen fehlerhafter oder manipulierter Eingabedaten. Sicherheitsexperte Assaf Keren, CSO bei Qualtrics, analysiert, warum traditionelle IT-Sicherheitskonzepte an ihre Grenzen stoßen und was Unternehmen jetzt tun müssen.
Kontextverlust als Systemfehler
Künstliche Intelligenz ist längst kein experimentelles Werkzeug mehr. In Unternehmen weltweit übernehmen KI-Systeme täglich Aufgaben, die unmittelbare Konsequenzen für Menschen haben: Sie beantworten Kundenanfragen, bewerten das Abwanderungsrisiko von Mitarbeitenden oder leiten Patientenanliegen an medizinisches Fachpersonal weiter. Solange die Systeme mit korrekt aufbereiteten Daten arbeiten, liefern sie präzise, skalierbare Ergebnisse. Doch genau darin liegt das Kernproblem moderner KI-Sicherheit.
Ist der Kontext fehlerhaft – manipuliert, verzerrt oder schlicht unvollständig –, produziert eine KI falsche Ergebnisse mit derselben scheinbaren Überzeugungskraft wie richtige. Und das in einem Tempo, das menschliche Kontrollinstanzen systematisch überfordert. Die Konsequenzen tragen Kunden, Mitarbeitende und letztlich die Unternehmen selbst. Genau dieses Szenario beschreibt Assaf Keren, Chief Security Officer bei Qualtrics, als das derzeit unterschätzteste Sicherheitsrisiko im KI-Zeitalter.
Daten ohne Aufsicht: Ein strukturelles Risiko
Konkrete Szenarien verdeutlichen das Ausmaß: Ein KI-Agent gibt sensible Informationen an die falsche Person weiter, weil die Zugriffssteuerung auf veralteten Parametern basiert. Ein Chatbot generiert eine inhaltlich falsche Handlungsempfehlung, weil die zugrundeliegenden Feedbackdaten systematisch verfälscht wurden. Ein Analysesystem ordnet Mitarbeiterfeedback fälschlicherweise einer anderen Person zu – mit direkten Auswirkungen auf Karriereentscheidungen.
Die Brisanz wird durch Nutzungsdaten verstärkt: Laut Qualtrics greifen lediglich 20 Prozent der Beschäftigten auf vom Unternehmen freigegebene KI-Lösungen zurück. Der Rest nutzt externe, unkontrollierte Tools – und trifft auf dieser Basis Entscheidungen, die weder transparent nachverfolgt noch sicherheitstechnisch abgesichert werden können. Parallel dazu geben Umfragen unter Verbrauchern zu bedenken, dass mehr als die Hälfte den Missbrauch personenbezogener Daten als ihre größte Sorge beim unternehmerischen KI-Einsatz benennt.
Warum klassische Sicherheitskonzepte versagen
Verschlüsselung, Zugriffskontrollen, Compliance-Prüfungen – das bewährte Instrumentarium der IT-Sicherheit wurde für eine Welt entwickelt, in der Daten statisch in Systemen ruhten und Menschen die daraus resultierenden Entscheidungen trafen. Diese Welt existiert nicht mehr.
Heute agieren KI-Systeme autonom. Sie treffen Entscheidungen in Echtzeit, auf Basis dynamischer Dateneingaben, ohne dass ein Mensch den Prozess im Einzelfall prüft. Das hat fundamentale Konsequenzen für Sicherheitsverantwortliche: Nicht mehr der Schutz gespeicherter Daten steht im Mittelpunkt, sondern die Integrität jener Daten, die KI-Systeme im Moment ihrer Verarbeitung als Entscheidungsgrundlage heranziehen.
Besonders kritisch ist das im Bereich des Experience Managements – also überall dort, wo Unternehmen Feedback von Kunden, Patienten oder Mitarbeitenden erheben und KI-gestützt auswerten. Offene Feedbackkanäle sind niedrigschwellig zugänglich und damit per se anfällig für Manipulation. Klassische Validierungsverfahren erkennen koordinierte Datenverfälschungen kaum zuverlässig, weil ihnen ein Referenzrahmen dafür fehlt, wie sich normales Feedback in einem spezifischen Kontext verhält.
Vier strategische Fragen für Sicherheitsverantwortliche
Keren schlägt vor, den Reifegrad der eigenen Organisation anhand von vier konkreten Fragen zu messen:
- Welche Geschäftsentscheidungen beeinflusst die Plattform? Technische Integrationen allein zu betrachten reicht nicht aus. Entscheidend ist die lückenlose Nachverfolgung vom Datenpunkt bis zur ausgelösten Aktion – einschließlich aller automatisierten Zwischenschritte.
- Wie wird die Authentizität eingehender Daten sichergestellt? Gerade offene Eingabekanäle erfordern ein klares Bild davon, was normales Verhalten innerhalb des eigenen Feedbackprogramms ausmacht – denn nur vor diesem Hintergrund lassen sich Anomalien erkennen.
- Ist der potenzielle Geschäftsschaden quantifiziert? Sicherheitsrisiken müssen in unternehmerischen Dimensionen bewertet werden, nicht nur in technischen. Fehlentscheidungen auf Basis manipulierter Daten haben konkrete finanzielle, rechtliche und reputationsbezogene Folgen.
- Wie schnell können Anomalien erkannt und behoben werden? Je autonomer KI agiert, desto kürzer ist das Zeitfenster zwischen fehlerhafter Eingabe und fehlerhafter Entscheidung. Monitoring-Systeme müssen in der Lage sein, Auffälligkeiten in Echtzeit zu identifizieren und gezielte Eingriffe zu ermöglichen, bevor sich Fehlentwicklungen systemweit ausbreiten.
Sicherheit als Voraussetzung für Vertrauen
Keren formuliert es pointiert: Im KI-Zeitalter ist Sicherheit keine technische Nebenbedingung mehr, sondern die Grundvoraussetzung für vertrauenswürdige Entscheidungen. Sie ermöglicht es Organisationen, Geschwindigkeit mit Verlässlichkeit zu verbinden – und entschlossen zu handeln, ohne Fehlentwicklungen zu verstärken.
Ob KI dauerhaft Vertrauen schafft oder dieses Vertrauen untergräbt, entscheidet sich nicht an der Rechenleistung oder der Modellgüte, sondern an der Qualität der Daten, die in die Systeme einfließen – und an den Prozessen, die diese Qualität sicherstellen. Für Sicherheitsverantwortliche bedeutet das: Sie müssen ihre Rolle neu definieren. Von Datenhütern zu Architekten verlässlicher KI-Entscheidungsprozesse.
Assaf Keren ist seit 2024 Chief Security Officer bei Qualtrics und verantwortet globale Produktsicherheit sowie regulatorische Compliance. Zuvor war er CISO bei PayPal.
Dr. Jakob Jung ist Chefredakteur Security Storage und Channel Germany. Er ist seit mehr als 20 Jahren im IT-Journalismus tätig. Zu seinen beruflichen Stationen gehören Computer Reseller News, Heise Resale, Informationweek, Techtarget (Storage und Datacenter) sowie ChannelBiz. Darüber hinaus ist er für zahlreiche IT-Publikationen freiberuflich tätig, darunter Computerwoche, Channelpartner, IT-Business, Storage-Insider und ZDnet. Seine Themenschwerpunkte sind Channel, Storage, Security, Datacenter, ERP und CRM.
Kontakt – Contact via Mail: jakob.jung@security-storage-und-channel-germany.de