| KI ist heute Standard, aber es bleibt die Frage, wie diese KI-Tools gegen KI-gesteuerte Bedrohungen verteidigt werden können. | AI is now standard, but the question remains how to use these AI tools securely while defending against AI-driven threats. |
|---|---|
| Unternehmen setzen KI- und ML-Tools heute fast überall ein. Sie müssen jedoch die zahlreichen Risiken abwägen, die mit KI-Werkzeugen einhergehen, um die Vorteile voll ausschöpfen zu können. Um das transformative Potenzial von KI freizusetzen, müssen Unternehmen sichere Kontrollen einführen, um ihre Daten zu schützen, den Verlust sensibler Informationen zu verhindern, die Ausbreitung von KI-Schatten zu vermeiden und die Qualität der KI-Daten sicherzustellen. Diese KI-Risiken für Unternehmen sind bidirektional: Außerhalb der Unternehmensmauern ist KI zu einer treibenden Kraft für Cyber-Bedrohungen geworden. Aber KI-Tools wie WormGPT und FraudGPT ermöglichen es auch Cyberkriminellen und staatlich geförderten Bedrohungsakteuren, Angriffe schneller und in größerem Umfang durchzuführen. KI ist jedoch ein vielversprechendes Puzzleteil der Cyberabwehr, da Unternehmen mit einer dynamischen Bedrohungslandschaft konfrontiert sind. Zscaler, Inc. (NASDAQ: ZS) hat im 2024 AI Security Report mehr als 18 Milliarden KI-Transaktionen in der Zscaler Zero Trust Exchange™ Cloud-Sicherheitsplattform von April 2023 bis Januar 2024 analysiert. Die Forscher der Zscaler ThreatLabz zeigen Trends von KI-/ML-Tools im Unternehmenseinsatz über verschiedene Branchen und Regionen hinweg, Anpassungen an eine sich wandelnde KI-Landschaft und die Sicherheit im Umgang mit den Tools auf. Dabei müssen Unternehmen die von generativer KI (GenKI) ausgehende Transformation in zwei Richtungen beachten: Einerseits durch die abgesicherte Einführung von GenKI-Tools im Unternehmen mit Hilfe von Zero Trust und andererseits durch die Abwehr der neuen KI-gesteuerten Bedrohungen. Da Unternehmen neue KI-Funktionen und -Tools in ihre täglichen Arbeitsabläufe integrieren hat sich das Volumen der Transaktionen und der generierten Daten vervielfacht. Das höhere Volumen spiegelt sich in einer fast 600-prozentigen Zunahme der Transaktionen sowie in 569 Terabyte an Unternehmensdaten wider, die zwischen September 2023 und Januar 2024 an KI-Tools gesendet wurden. „Daten sind das Lebenselixier jedes Unternehmens und das Gold einer neuen Ära der KI-Revolution“, sagt Deepen Desai, Chief Security Officer bei Zscaler. „Mit der Transparenz durch die fast 500 Billionen täglicher Signale, die von der Zscaler Zero Trust ExchangeTM-Plattform in Kombination mit der Avalor Data Fabric verarbeitet werden, ist Zscaler einzigartig positioniert, um KI mit KI zu bekämpfen und Zero Trust-Sicherheit über die gesamte Unternehmenslandschaft zu verbessern.“ Dunkle Chatbots: WormGPT und FraudGPT Beliebte KI-Chatbots wie ChatGPT verfügen über Sicherheitskontrollen, die – in den meisten Fällen – verhindern, dass Benutzer bösartigen Code erzeugen. Weniger eingeschränkte Versionen der generativen KI, die als „dunkle Chatbots“ bekannt sind, haben keine solchen Leitplanken. Infolgedessen haben sich die Verkäufe der beliebtesten Dark Chatbots, darunter WormGPT und FraudGPT, im Dark Web stark verbreitet. Obwohl viele dieser Tools als Werkzeuge für Sicherheitsforscher angepriesen werden, werden sie in erster Linie von Bedrohungsakteuren verwendet, um bösartigen Code wie KI-Malware zu erzeugen. Um herauszufinden, wie einfach es ist, diese Tools zu erwerben, hat ThreatLabz die Angebote im Dark Web untersucht. Dabei stellte ThreatLabz fest, dass die Hersteller dieser Tools generative KI-Chatbots einsetzen, um den Kauf überraschend einfach zu gestalten: Mit einer einzigen Eingabeaufforderung auf der Kaufseite von WormGPT werden die Benutzer beispielsweise aufgefordert, eine Testversion zu kaufen, indem sie die Zahlung an eine Bitcoin-Brieftasche senden. Die Macher weisen ausdrücklich darauf hin, dass WormGPT theoretisch für die Sicherheitsforschung und -abwehr gedacht ist. Mit einem einzigen Download kann jedoch jeder Zugang zu einem voll funktionsfähigen generativen KI-Tool erhalten, mit dem jede Art von bösartigem Code, einschließlich Malware und Ransomware, ohne Sicherheitsvorkehrungen erstellt, getestet oder optimiert werden kann. Während Forscher gezeigt haben, dass populäre KI-Tools wie ChatGPT für böswillige Zwecke gehackt werden können, ist die Zahl der Abwehrmaßnahmen gegen solche Aktionen weiter gestiegen. Infolgedessen steigt der Absatz von Tools wie WormGPT und FraudGPT sowie von Best-Practice-Beispielen für die effektive Erstellung und Optimierung von Malware in den Communities der Bedrohungsakteure im Dark Web. KI-Gesetz Das Europäische Parlament hat kürzlich die KI-Gesetzgebung verabschiedet, die weltweit erste umfassende KI-Gesetzgebung mit strengen Gesetzen und Richtlinien für verschiedene Arten von KI-Anwendungen, die nach Risiken in vielen Branchen kategorisiert sind. Die Gesetze, die voraussichtlich 2026 in Kraft treten werden, verlangen beispielsweise, dass allgemeine KI-Tools wie ChatGPT Transparenzanforderungen erfüllen, z. B. dass Inhalte von KI generiert werden, dass Trainingsmodelle so gestaltet sind, dass die Generierung illegaler Inhalte verhindert wird, und dass Unternehmen Zusammenfassungen von urheberrechtlich geschütztem Material, das für das Training verwendet wird, zur Verfügung stellen. Die Verordnungen sehen strengere Richtlinien für „risikoreiche“ KI-Anwendungen vor, z. B. solche, die in Konsumgütern wie Spielzeug, Flugzeugen, medizinischen Geräten und Fahrzeugen eingesetzt werden, sowie für KI, die sich auf bestimmte Bereiche wie kritische Infrastrukturen, Beschäftigung, Justiz, Einwanderung usw. auswirkt. In der Zwischenzeit wird die EU KI-Anwendungen, die als inakzeptabel eingestuft werden, vollständig verbieten. Dazu gehören Anwendungen, die sensible biometrische Daten verwenden, die versuchen, menschliches Verhalten zu manipulieren, um den freien Willen zu umgehen, die Emotionserkennung für Einstellung und Training verwenden oder oder das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsanlagen. KI-Transaktionen wachsen exponentiell Von April 2023 bis Januar 2024 verzeichneten die ThreatLabz einen Anstieg der KI-/ML-Transaktionen um fast 600 Prozent auf mehr als drei Milliarden monatlich, die die Zero Trust Exchange-Plattform im Januar durchlaufen haben. Trotz des zunehmenden Sicherheitsrisikos und der steigenden Zahl von Datenschutzvorfällen setzen Unternehmen KI-Tools weitläufig ein. Produktionsbetriebe sind für 21 Prozent der KI-/ML-Transaktionen verantwortlich Das verarbeitende Gewerbe ist mit gut einem Fünftel des Gesamtvolumens an Transaktionen zu KI-Tools führend. Ein Anwendungsfall ist die Analyse riesiger Datenmengen von Maschinen und Sensoren zur präventiven Erkennung von Anlagenausfällen. Weitere Einsatzmöglichkeiten sind die Optimierung des Lieferkettenmanagements, des Lagerbestands und der Logistikabläufe. Unter den Top Fünf der weiteren Branchen rangieren ebenfalls das Finanz- und Versicherungswesen (14 Prozent), der Dienstleistungssektor (13 Prozent), Technologie (10 Prozent) und der Einzel-/Großhandel (5 Prozent). ChatGPT ist bei weitem die beliebteste GenKI-Anwendung Die Analyse zeigt, dass ChatGPT für mehr als die Hälfte aller KI-Transaktionen in Unternehmen verantwortlich war (52 Prozent), während die OpenAI-Anwendung selbst mit 8 Prozent nur an dritter Stelle lag. Drift, der beliebte KI-gestützte Chatbot, generierte fast 20 Prozent des Unternehmensdatenverkehrs, während LivePerson und BoldChat ebenfalls gelistet sind. Writer war das beliebteste GenKI-Tool für die Erstellung schriftlicher Unternehmensinhalte. Die USA sind führend bei der Nutzung von KI-Tools in Unternehmen Die Trends zur Einführung von KI differieren weltweit, da Vorschriften, Anforderungen, technologische Infrastruktur, kulturelle Erwägungen und andere Faktoren eine wichtige Rolle bei der Adoption spielen. Mit 40 Prozent haben die USA den höchsten Anteil an KI-Transaktionen im weltweiten Unternehmensvergleich. Indien liegt mit 16 Prozent an zweiter Stelle, angetrieben durch die starke Innovationstätigkeit des Landes. Obwohl der Anteil Großbritanniens an den weltweiten KI-Transaktionen nur 5,5 Prozent beträgt, nimmt es damit mit einem Fünftel (20 Prozent) des KI-Verkehrs die Spitzenposition in EMEA ein. Frankreich (13 Prozent) und Deutschland (12 Prozent) folgen dicht dahinter als zweit- und drittgrößte Generatoren von KI-Datenverkehr in EMEA. In APAC deckten die ThreatLabz einen Anstieg von fast 1,3 Milliarden (135 Prozent) mehr KI-Transaktionen in Unternehmen im Vergleich zu EMEA auf. Dieser sprunghafte Anstieg ist vermutlich auf die umfassende Nutzung von KI-Tools für die den Geschäftsbetrieb im gesamten Tech-Sektor in Indien zurückzuführen und deutet auf eine höhere Konzentration von Tech-Arbeitsplätzen, eine größere Bereitschaft zur Akzeptanz neuer Technologien und geringeren Nutzungsbarrieren hin. KI-gestützte Bedrohungsakteure verstärken die Risiken und Sicherheitsherausforderungen für Unternehmen Die sich weiterentwickelnde Leistungsfähigkeit von KI ist für Unternehmen zu einem zweischneidigen Schwert geworden. Während KI ein immenses Potenzial für Innovation und Effizienz bietet, birgt sie auch eine Reihe neuer Risiken, mit denen sich Unternehmen auseinandersetzen müssen. Dazu zählen insbesondere Risiken im Zusammenhang mit der Nutzung von GenKI-Tools im Unternehmen und einer sich ausbreitenden KI-gestützten Bedrohungslandschaft, die in drei Bereiche unterteilt werden können:
Gleichzeitig sind Unternehmen einer kontinuierlichen Flut von Cyber-Bedrohungen ausgesetzt, die ebenfalls durch KI gesteuert werden. Angreifer setzen auf KI, um ausgefeilte Phishing- und Social Engineering-Kampagnen zu orchestrieren. Sie entwickeln Malware und Ransomware, die Schwachstellen in den Angriffsflächen von Unternehmen ausnutzen und die Geschwindigkeit, den Umfang und die Vielfalt von Angriffen verstärken. Um dieser Herausforderung zu begegnen, müssen Unternehmen einerseits die sich schnell entwickelnde KI-Landschaft evaluieren, um selbst Vorteile daraus zu ziehen. Zeitgleich müssen Cybersicherheitsspezialisten die Risiken minimieren und Unternehmen gegen KI-gestützte Angriffe wappnen. Die sichere Adoption von KI Zscaler versetzt Unternehmen in die Lage, das Potenzial von KI-Anwendungen zu nutzen und gleichzeitig die Sicherheit ihrer Daten zu gewährleisten, indem eine Umgebung errichtet wird, die vor Datenexfiltration schützt. Die Zero Trust ExchangeTM-Plattform bietet dafür ein umfassendes Toolset mit vier wichtigen Funktionen:
Durch die Nutzung der Zero Trust-Sicherheitskontrollen können Unternehmen ihre KI-Transformation umsetzen und das volle Potenzial der generativen KI ausschöpfen und gleichzeitig ein Höchstmaß an Sicherheit gewährleisten. Die Plattform schützt vor KI-gesteuerten Bedrohungen und granular abgestimmte KI-Richtlinien sorgen für Datenschutz. | Organizations are using AI and ML tools almost everywhere today. However, they must weigh the many risks associated with AI tools in order to reap the full benefits. To unlock the transformative potential of AI, organizations must implement secure controls to protect their data, prevent the loss of sensitive information, prevent the proliferation of AI shadows, and ensure the quality of AI data.
These AI risks to organizations are bi-directional: outside the corporate walls, AI has become a driving force for cyber threats. AI tools enable cybercriminals and state-sponsored threat actors to launch attacks faster and on a larger scale. However, AI is a promising piece of the cyber defense puzzle as organizations face a dynamic threat landscape.
Zscaler, Inc. (NASDAQ: ZS), the leader in cloud security, today announced the release of its 2024 AI Security Report, which draws on more than 18 billion AI transactions across the Zscaler Zero Trust Exchange™ cloud security platform from April 2023 to January 2024. Zscaler ThreatLabz researchers analyzed how enterprises use AI/ML tools and mapped trends across sectors and geographies, highlighting how businesses are adapting to the shifting AI landscape and managing security around the use of AI tools. Today’s enterprises must secure a transformation driven by generative AI (GenAI) bidirectionally: by securely adopting GenAI tools in the enterprise with Zero Trust while leveraging it to defend against the new AI-driven threat landscape.
AI has already become a part of business as usual, as enterprises leverage and integrate new features and tools into their day-to-day workflows, multiplying the volume of transactions and data generated. The much higher volume is reflected in the nearly 600% increase in transactions as well as the 569 terabytes of enterprise data sent to AI tools that ThreatLabz analyzed between September 2023 and January 2024.
“Data is the lifeblood of every enterprise and the gold of this new era in the AI revolution,” said Deepen Desai, Chief Security Officer, Zscaler. “With the visibility provided by the Zscaler Zero Trust Exchange’s nearly 500 trillion daily signals combined with Avalor* Data Fabric, we believe Zscaler is uniquely positioned to fight AI with AI and improve Zero Trust security across the enterprise.”
Dark Chatbots: Exposing WormGPT and FraudGPT on the Dark Web
Popular AI chatbots like ChatGPT have security controls in place that – in most cases – prevent users from generating malicious code. Less constrained versions of generative AI, known as „dark chatbots,“ have no such guardrails. As a result, sales of the most popular dark chatbots, including WormGPT and FraudGPT, have proliferated on the dark web.
While many of these tools are billed as tools for security researchers, they are primarily used by threat actors to generate malicious code such as AI malware. To uncover how easy it is to acquire these tools, ThreatLabz delved into dark web listings. ThreatLabz found that, fittingly, the creators of these tools are using generative AI chatbots to make their purchase surprisingly easy:
With a single prompt on the WormGPT purchase page, for example, users are prompted to purchase a trial version by sending payment to a bitcoin wallet. Note that the creators explicitly state that WormGPT is theoretically intended for security research and defense.
However, with a single download, anyone can get access to a full-featured generative AI tool that can be used to that can be used to create, test, or tweak any type of malicious code, including malware and ransomware without security guardrails.
While researchers have shown that popular AI tools like ChatGPT can be jailbroken for malicious purposes their defenses against these actions have continued to grow. As a result, sales of tools like WormGPT and FraudGPT increase, as well as best practice examples of how to effectively create and optimize malware within the Dark Web threat actor communities. European AI Act The European Parliament recently approved the AI Act, which will create the world’s first comprehensive AI legislation, with a strict set of laws and guidelines for different types of AI applications, categorized by risk across many industries. The laws, which are expected to take effect in 2026, will, for example, require general-purpose AI tools such as ChatGPT to meet transparency requirements, such as that content is generated by AI, that training models are designed to prevent the generation of illegal content, and that companies provide summaries of copyrighted materials used for training. The regulations will apply stricter guidelines to „high-risk“ AI applications, such as those used in consumer products, including toys, aviation, medical devices, and vehicles, as well as AI that impacts certain areas, such as critical infrastructure, employment, legal affairs, immigration, and more. Meanwhile, the EU will outright ban AI applications that are deemed to pose unacceptable risks, including those that use sensitive biometric information, attempt to manipulate human behavior to circumvent free will, use emotional recognition for hiring and education, or scrape untargeted facial images from the Internet or CCTV. AI transactions grow exponentially From April 2023 to January 2024, ThreatLabz saw AI/ML transactions grow by nearly 600%, rising to more than 3 billion monthly across the Zero Trust Exchange platform in January. Despite the mounting security risk and increasing number of data protection incidents, enterprises are adopting AI tools in large numbers.
Manufacturers responsible for more than 20% of enterprise AI/ML transactions
Manufacturing was found to be the industry leader in AI transactions across the Zero Trust Exchange platform, driving nearly 20% of the total volume. From analyzing vast amounts of data from machinery and sensors to preemptively detect equipment failures to optimizing supply chain management, inventory, and logistics operations, AI is proving instrumental to manufacturers. The other notable verticals that comprise the top five are finance and insurance (17%), technology (14%), services sectors (13%), and retail/wholesale (5%).
ChatGPT leads the way as the most popular GenAI application
Research shows that ChatGPT accounted for more than half of all enterprise AI transactions (52%), while the OpenAI application itself ranked third (8%). Drift, the popular AI-powered chatbot, generated nearly 20% of enterprise traffic, while LivePerson and BoldChat also made the list. Writer was the favorite GenAI tool for creating written enterprise content.
The United States leads the way in enterprise AI tools usage
AI adoption trends differ globally as regulations, requirements, technology infrastructure, cultural considerations, and other factors play key roles. At 40%, the US produces the highest percentage of enterprise AI transactions globally. India was second at 16%, propelled by the country’s accelerated commitment to driving innovation.
Although the UK’s share of global enterprise AI transactions is only 5.5%, it leads enterprise AI traffic in EMEA with over 20%. France (13%) and Germany (12%), as expected, follow closely behind as the second and third largest enterprise AI traffic generators in EMEA. However, the United Arab Emirates is a rapidly growing technological innovator in the region that has also emerged as a prominent AI adopter.
In the APAC region, ThreatLabz discovered a staggering increase of nearly 1.3 billion (135%) more enterprise AI transactions compared to EMEA. This surge can likely be attributed to India’s extensive usage and adoption of AI tools for conducting business across the tech sector, and it may suggest a higher concentration of tech jobs, stronger willingness to adopt new innovations, and fewer barriers to usage.
AI empowered threat actors amplify enterprise risk and security challenges
As the power of AI has advanced, it has become a double-edged sword for enterprises. While AI offers immense potential for innovation and efficiency, it also brings forth a new set of risks that organizations must grapple with–namely, risks associated with leveraging GenAI tools within the enterprise and an evolving landscape of AI-assisted threats.
The utilization of GenAI tools within enterprises introduces significant risks that can be categorized into three main areas:
Protection of intellectual property and non-public information: the risk of data leakage AI application data privacy and security risks: including an expanded attack surface, new threat delivery vectors, and increased supply chain risk Data quality concerns: the concept of „garbage in, garbage out“ and the potential for data poisoning Simultaneously, enterprises are constantly exposed to a barrage of cyberthreats, some of which are now AI-driven. The possibilities of AI-assisted threats are virtually limitless, as attackers can leverage AI to orchestrate sophisticated phishing and social engineering campaigns, develop highly evasive malware and ransomware, exploit vulnerabilities in enterprise attack surfaces, and amplify attacks‘ speed, scale, and diversity. To address this challenge, enterprises and cybersecurity leaders must effectively navigate the rapidly evolving AI landscape to harness its revolutionary potential while also mitigating the risks and defending against AI-powered attacks.
Enabling secure enterprise AI adoption with Zscaler
Zscaler is at the forefront of empowering enterprises to embrace the potential of AI applications while ensuring the safety of their data and maintaining an environment that’s secure against emerging channels for exfiltration. With the Zero Trust Exchange platform, Zscaler provides the comprehensive set of tools necessary for this transformative journey, encompassing four critical capabilities:
Full visibility into AI tool usage Granular access policy creation for AI Granular data security for AI applications Powerful controls with browser isolation
By leveraging Zscaler’s Zero Trust security controls, enterprises can confidently embrace their AI transformation, fully harnessing the potential of generative AI while ensuring the highest level of security. They will gain the necessary tools to protect their business from AI-driven threats while benefiting from Zscaler’s fine-tuned AI policies and robust data protections.
Download the full version of the 2024 AI Security Report now to uncover even more insights about securing AI. |
Dr. Jakob Jung ist Chefredakteur Security Storage und Channel Germany. Er ist seit mehr als 20 Jahren im IT-Journalismus tätig. Zu seinen beruflichen Stationen gehören Computer Reseller News, Heise Resale, Informationweek, Techtarget (Storage und Datacenter) sowie ChannelBiz. Darüber hinaus ist er für zahlreiche IT-Publikationen freiberuflich tätig, darunter Computerwoche, Channelpartner, IT-Business, Storage-Insider und ZDnet. Seine Themenschwerpunkte sind Channel, Storage, Security, Datacenter, ERP und CRM.
Dr. Jakob Jung is Editor-in-Chief of Security Storage and Channel Germany. He has been working in IT journalism for more than 20 years. His career includes Computer Reseller News, Heise Resale, Informationweek, Techtarget (storage and data center) and ChannelBiz. He also freelances for numerous IT publications, including Computerwoche, Channelpartner, IT-Business, Storage-Insider and ZDnet. His main topics are channel, storage, security, data center, ERP and CRM.
Kontakt – Contact via Mail: jakob.jung@security-storage-und-channel-germany.de