Die Abwehr von Deepfakes erfordert eine Kultur des Misstrauens, erklärt James Tucker, Head of CISO International bei Zscaler. | Defending against deepfakes requires a culture of distrust, explains James Tucker, Head of CISO International at Zscaler. |
KI-basierte Deepfakes haben sich im vergangenen Jahr als effektives Täuschungsinstrument etabliert. Vom rudimentären E-Mail-Spoofing haben sie sich zu einer ausgefeilten Phishing-Technik entwickelt, die mit manipulierten Audio- und Videodaten arbeitet. Die Ursprünge von Deepfakes lassen sich auf inhärente Schwachstellen der E-Mail-Technologie zurückführen, der es an robusten Mechanismen zur Überprüfung der Absenderidentität mangelt. Dieses seit langem bestehende Problem hat Angreifern den Weg geebnet, KI für immer gefährlichere Angriffe in Kombination mit dem Dauerbrenner Social Engineering einzusetzen.
Deepfakes werden in den beiden Formaten Audio und Video für Betrugsmanöver eingesetzt. Während Audiomanipulationen bereits seit mehr als einem Jahrzehnt bekannt sind und sich in jüngster Zeit zu Telefonanrufen weiterentwickelt haben, sind gefälschte Videos, die auf öffentlich zugänglichen und mit Hilfe von KI manipulierten Videoschnipseln basieren, erst in jüngster Zeit prominenter geworden. Die Erstellung künstlicher Nachrichten ist für Personen mit unterschiedlichem technischem Know-how leicht möglich, da KI-Tools die Arbeit übernehmen. Diese Demokratisierung der Deepfake-Technologie macht sie zu einer ernsthaften Bedrohung. Die Werkzeuge zur Erstellung überzeugender Fälschungen befinden sich damit in den Händen eines Personenkreises, der die ethischen Implikationen ihres Einsatzes missachtet. Das Schadenspotenzial von Deepfakes Die Folgen von Deepfakes gehen weit über die bloße Falschinformation und Zahlungsanweisung an Malware-Akteure hinaus. Die neuen Deepfakes untergraben grundsätzlich das Vertrauen in jegliche Interaktion, sei es im privaten oder im geschäftlichen Umfeld. Das Vertrauen in die Grundpfeiler menschlicher Kommunikation gerät ins Wanken. Wenn Menschen nicht mehr zwischen Realität und Fiktion unterscheiden können, beginnt das soziale Gefüge zu bröckeln. Ein hypothetisches Szenario: Ein Manager nutzt KI, um einen Videobericht zu erstellen, der auf realen Daten basiert. Die Informationen mögen korrekt sein, aber die Erstellung einer synthetischen Darstellung untergräbt die Authentizität der Kommunikation und hinterlässt bei den Teammitgliedern ein ungutes Gefühl. Dieser Vertrauensverlust in die neuen Möglichkeiten der Inhaltserstellung ist nicht auf harmlose Szenarien beschränkt. Deepfakes können als Waffe eingesetzt werden, um Vertrauen gezielt zu untergraben und so zu schweren Reputationsschäden oder allgemeiner Verunsicherung beitragen. Fälle von manipulierten Bildern, die aus ihrem ursprünglichen Kontext gerissen wurden, haben bereits zu Rechtsstreitigkeiten und einem Aufschrei in den sozialen Medien geführt. Die Möglichkeit, solche Inhalte schnell und mit hoher Reichweite viral zu verbreiten, verstärkt ihre Wirkung und schafft eine Kultur des Zweifels. Deepfakes werden so zu einer ernsthaften Bedrohung, die weit über den finanziellen Schaden hinausgeht. Die psychologischen Folgen Die psychologischen Auswirkungen von Deepfakes können sowohl für die Gesellschaft als auch für den Einzelnen enorm sein. Die Verbreitung gefälschter pornografischer Inhalte zielt beispielsweise auf die Würde und Privatsphäre von Menschen ab und hinterlässt bleibende emotionale Narben. Darüber hinaus können manipulierte politische Inhalte zu Misstrauen gegenüber öffentlichen Personen und Institutionen führen und demokratische Prozesse untergraben. Wenn die Worte eines Politikers in einem verfälschten Kontext verwendet werden, löst dies eine gesellschaftliche Vertrauenskrise aus. Denn wenn selbst Aussagen von Personen des öffentlichen Lebens gefälscht werden können, wem kann man dann noch vertrauen und wie kann der Einzelne einen Deepfake erkennen oder beweisen? Die junge Generation ist besonders anfällig. Ihr Leben wird zunehmend von Bildschirmen und der Interaktion über soziale Medien bestimmt. Diese Zielgruppe muss daher besonders angeleitet werden, welche Inhalte authentisch sind und welchen man vertrauen kann. Sie bewegen sich am Rande einer Welt, in der die Realität verzerrt erscheinen kann und mit der Gefahr sozialer Isolation und psychischer Probleme einhergeht. Angesichts dieser wachsenden Probleme besteht Handlungsbedarf. Maßnahmen gegen Deepfakes Als Reaktion auf die zunehmende Verbreitung von Deepfakes ist es notwendig, KI nicht nur für die Erstellung, sondern auch für die Erkennung künstlich erstellter Inhalte einzusetzen. In den kommenden Jahren wird die Zahl der Unternehmen steigen, die KI-Technologien speziell zur Erkennung von Deepfakes entwickeln. Darüber hinaus sind insbesondere in der Europäischen Union regulatorische Maßnahmen zu erwarten, die Standards und Schutzmaßnahmen gegen den böswilligen Einsatz dieser Technologie definieren. Digitale Wasserzeichen sind eine Möglichkeit, die zur Authentifizierung von Inhalten beitragen kann. Dies ist ein Anfang, aber für eine höhere Sicherheit ist ein mehrschichtiger Ansatz erforderlich, der neben der KI-Verifikation auch persönliche Identifikatoren wie eindeutige Schlüsselwörter umfasst. Ein solcher Schutz funktioniert ähnlich wie die Zwei-Faktor-Authentifizierung, die heute bereits als Passwortschutz eingesetzt wird. Bis diese Technologien ausgereift sind, spielt Aufklärung eine entscheidende Rolle im Kampf gegen die negativen Auswirkungen von Deepfakes. Die Ausbildung in der Erkennung gefälschter audiovisueller Inhalte sollte fester Bestandteil der beruflichen und akademischen Lehrpläne werden, um die Gesellschaft gegen die negativen Auswirkungen in diesem tückischen Umfeld zu wappnen. Was die Zukunft bringt Im kommenden Jahr werden Deepfakes für noch mehr Verwirrung und Misstrauen sorgen. Die Gesellschaft wird sich diesen Herausforderungen stellen müssen. Diskussionen über Regulierung und Schutz werden daher an Bedeutung gewinnen. Langfristig werden sich die Nutzer auf KI-Tools verlassen müssen, um Deepfakes auf ihren persönlichen Geräten zu erkennen. Dies kann eine Kultur der Vorsicht fördern, bevor gefälschte Inhalte über soziale Kanäle verbreitet werden. Letztendlich muss die Gesellschaft mit der Entwicklung neuer Technologien Schritt halten und auf deren negative Aspekte reagieren. Der Kampf gegen Deepfakes erfordert persönliche Aufmerksamkeit und technologische Innovation, da die Folgen von Untätigkeit schwerwiegend sein können. Einmal verlorenes Vertrauen in technische Kommunikationskanäle und Inhalte ist nur schwer zurückzugewinnen. Das Zero-Trust-Prinzip hat gezeigt, wie Organisationen das Vertrauen in digitale Interaktionen wiederherstellen können. |
Over the past year, AI-based deepfakes have established themselves as a powerful deception tool. From rudimentary email spoofing, they have evolved into a sophisticated phishing technique using manipulated audio and video. The origins of deepfakes can be traced to inherent weaknesses in email technology, which lacks robust mechanisms for verifying sender identity. This long-standing problem has paved the way for attackers to use AI for increasingly dangerous attacks, combined with the perennial threat of social engineering.
Deepfakes are used in both audio and video formats for fraudulent maneuvers. While audio manipulation has been around for more than a decade and has recently evolved into phone calls, fake videos based on publicly available video snippets manipulated with AI have only recently become more prominent. The creation of artificial messages is easily possible for people with varying levels of technical expertise, as AI tools do the work. This democratization of deepfake technology makes it a serious threat. The tools to create convincing fakes are in the hands of a group of people who do not consider the ethical implications of their use. The Damage Potential of Deepfakes The consequences of deepfakes go far beyond simply providing misinformation and payment instructions to malware actors. The new deepfakes fundamentally undermine trust in any interaction, whether in a personal or business environment. Trust in the cornerstones of human communication is being shaken. When people can no longer distinguish between reality and fiction, the social fabric begins to unravel. A hypothetical scenario: An executive uses AI to create a video report based on real data. The information may be accurate, but creating a synthetic representation undermines the authenticity of the communication and leaves team members feeling uneasy. This loss of trust in new content creation capabilities is not limited to benign scenarios. Deepfakes can be used as a weapon to deliberately undermine trust, contributing to serious reputational damage or general uncertainty. Cases of manipulated images taken out of context have led to legal disputes and social media outcry. The ability to spread such content quickly and virally with wide reach amplifies its impact and creates a culture of doubt. Deepfakes thus become a serious threat that goes far beyond financial damage. The psychological impact The psychological impact of deepfakes can be enormous for both society and individuals. For example, the distribution of fake pornographic content targets people’s dignity and privacy, leaving lasting emotional scars. In addition, manipulated political content can lead to distrust of public figures and institutions and undermine democratic processes. When a politician’s words are used in a distorted context, it triggers a social crisis of confidence. If even the statements of public figures can be falsified, who can be trusted and how can individuals detect or prove a deepfake? The younger generation is especially vulnerable. Their lives are increasingly dominated by screens and social media interaction. As a result, they need special guidance on what content is authentic and what can be trusted. They are on the edge of a world where reality can seem distorted, with the risk of social isolation and mental health issues. These growing problems call for action. Action against deepfakes In response to the growing prevalence of deepfakes, it is necessary to use AI not only for the creation, but also for the detection of artificially created content. In the coming years, the number of companies developing AI technologies specifically for deepfake detection will increase. In addition, we can expect regulatory action, particularly in the European Union, to define standards and safeguards against the malicious use of this technology. In response to the increasing prevalence of deepfakes, it is necessary to use AI not only for the creation, but also for the detection of artificially created content. In the coming years, the number of companies developing AI technologies specifically for deepfake detection will increase. In addition, we can expect regulatory action, particularly in the European Union, to define standards and safeguards against the malicious use of this technology. Digital watermarks are one option that can help authenticate content. This is a start, but greater security requires a layered approach that includes personal identifiers such as unique keywords in addition to AI verification. Such protection works in a similar way to two-factor authentication, which is already used to protect passwords today. Until these technologies mature, education plays a critical role in combating the negative effects of deepfakes. Training in the detection of counterfeit audiovisual content should become an integral part of professional and academic curricula to arm society against the negative effects of this treacherous environment. What the future holds In the coming year, deepfakes will cause even more confusion and distrust. Society will have to face these challenges. Discussions about regulation and protection will become more important. In the long run, users will have to rely on AI tools to detect deepfakes on their personal devices. This can foster a culture of caution before fake content is spread across social channels. Ultimately, society must keep pace with the development of new technologies and respond to their negative aspects. The fight against deepfakes requires personal attention and technological innovation, as the consequences of inaction can be severe. Once lost, trust in technical communication channels and content is difficult to regain. The Zero Trust Principle has shown how organizations can rebuild trust in digital interactions. |
Dr. Jakob Jung ist Chefredakteur Security Storage und Channel Germany. Er ist seit mehr als 20 Jahren im IT-Journalismus tätig. Zu seinen beruflichen Stationen gehören Computer Reseller News, Heise Resale, Informationweek, Techtarget (Storage und Datacenter) sowie ChannelBiz. Darüber hinaus ist er für zahlreiche IT-Publikationen freiberuflich tätig, darunter Computerwoche, Channelpartner, IT-Business, Storage-Insider und ZDnet. Seine Themenschwerpunkte sind Channel, Storage, Security, Datacenter, ERP und CRM.
Dr. Jakob Jung is Editor-in-Chief of Security Storage and Channel Germany. He has been working in IT journalism for more than 20 years. His career includes Computer Reseller News, Heise Resale, Informationweek, Techtarget (storage and data center) and ChannelBiz. He also freelances for numerous IT publications, including Computerwoche, Channelpartner, IT-Business, Storage-Insider and ZDnet. His main topics are channel, storage, security, data center, ERP and CRM.
Kontakt – Contact via Mail: jakob.jung@security-storage-und-channel-germany.de