Dark Gemini ist eine bösartige GenAI-Variante, die sogar Personen und deren Standort anhand von Fotos identifizieren kann. Dark Gemini is a malicious variant of GenAI that can even identify people and where they’re located based on photos.
Es gibt immer mehr bösartige KI-Chatbots und Dark Gemini ist eine neue Variante:  Als ChatGPT Ende 2022 eröffnet und damit der Weltöffentlichkeit vorgestellt wurde, dauerte es nicht lange, bis die ersten Meldungen über den Missbrauch des GenAI-Tools die Runde machten. Ein Jahr später wurden mit FraudGPT, WormGPT und Co. die ersten KI-Tools geleakt, die von Cyberkriminellen genutzt werden. Es sind allesamt Programme, die sich nicht an ethischen Gesichtspunkten orientieren, sondern die Möglichkeit haben, auf entsprechende Anfragen auch bösartige Hinweise zu geben.

Mit der Einführung neuer Large Language Models (LLM) sind auch entsprechende unethische Modelle nur eine Frage der Zeit. Ähnlich verlief es bei der Vorstellung von Google Gemini, denn seit April machen Nachrichten von Dark Gemini die Runde.

Gadi Evron, CEO von Knostic, schreibt auf LinkedIn:  „DarkGemini ist ein leistungsfähiger neuer GenAI-Chatbot, der jetzt im Dark Web für eine monatliche Gebühr von 45 Dollar verkauft wird. Er ist in der Lage, eine Reverse Shell zu generieren, Malware zu erstellen und sogar Personen anhand eines Bildes zu lokalisieren. Ein Bot der „nächsten Generation“, der speziell entwickelt wurde, um GenAI für den Angreifer von nebenan leichter zugänglich zu machen.“

Robert Lemnos von Dark Reading schreibt: „Es gibt bereits zahlreiche KI-Chatbots, die auf Inhalte aus dem Dark Web trainiert wurden, darunter FraudGPT, WormGPT und DarkBART. Unzensierte KI-Modelle, die auf Llama2 und dem hybriden Wizard-Vicuna-Ansatz basieren, sind auch als vortrainierte Downloads in Repositories verfügbar.“ Dark Gemini als KI-gesteuerte bösartiger Front-End-Dienst hat wahrscheinlich die an legitime LLMs gesendeten Aufforderungen geändert, um die Beschränkungen für das Schreiben von bösartigen Programmen und die Geolokalisierung von Personen auf Fotos zu umgehen.

Marco Eggerling, Global CISO bei Check Point Software kommentiert: „Man darf den Erfolg der Macher hinter Dark Gemini nicht unterschätzen und die Bedrohung, die davon ausgeht. Zwar ist das Programm, wie einige Sicherheitsforscher meinten, tatsächlich nicht der große Wurf, aber es zeigt, wieviel mit wenig Aufwand möglich ist. Ein kleiner Front-End-Dienst reicht also aus, um Sicherheitsrichtlinien teilweise zu brechen, die einen kriminellen Gebrauch von Large Language Modells (LLM), wie ChatGPT und Google Gemini, verhindern sollen.

Skaliert man das hoch und denkt an große Hacker-Banden mit ihren Fähigkeiten und ihrer Kapazität, dann wird einem bewusst, was dieser auf den ersten Blick unbedeutend wirkende Hacker-Chat-Bot aus dem Dark Web wirklich für KI-Software bedeutet. Umso wichtiger ist es nun, dass einerseits über die Gesetzgebung und andererseits über die Anpassung der IT-Abwehr sowohl den Chancen der KI-Nutzung zur Arbeitserleichterung, Prozess-Optimierung und Verstärkung der IT-Sicherheit, als auch den Bedrohungen durch KI-Missbrauch Rechnung getragen wird.“

Malicious AI chatbots are on the rise, and Dark Gemini is a new variant: When ChatGPT was opened in late 2022 and presented to the world, it didn’t take long for the first reports of abuse of the GenKI tool to make the rounds. A year later, FraudGPT, WormGPT, and other AI tools were leaked that could be used by cybercriminals – all programs that are not based on ethical considerations, but have the ability to provide malicious information in response to requests.

With the introduction of new Large Language Models (LLM), unethical models are only a matter of time. The introduction of Google Gemini was similar, as news of Dark Gemini has been doing the rounds since April.

Gadi Evron, CEO of Knostic, writes on LinkedIn: “DarkGemini is a powerful new GenAI chatbot, now being sold on the dark web for a $45 monthly subscription. It can generate a reverse shell, build malware, or even locate people based on an image. A “next generation” bot, built specifically to make GenAI more accessible to the attacker next door.”

Robert Lemnos of Dark Reading writes: “Already, AI chatbots trained on content from the Dark Web have proliferated, including FraudGPT, WormGPT, and DarkBART. Uncensored AI models based on Llama2 and the hybrid Wizard-Vicuna approaches are also available as pre-trained downloads from repositories.” Dark Gemini, as an AI-driven malicious front-end service, likely modified the prompts sent to legitimate LLMs to circumvent restrictions on writing malicious programs and geolocating people in photos.

Dark Gemini, as an AI-driven malicious front-end service, likely modified the prompts sent to legitimate LLMs to circumvent restrictions on writing malicious programs and geolocating people in photos.

Marco Eggerling, global CISO at Check Point Software, comments, „The success of the creators of Dark Gemini and the threat it poses cannot be underestimated. The program may not be the big hit some security researchers have claimed, but it shows how much can be done with little effort. A small front-end service is enough to partially break security policies designed to prevent criminal use of Large Language Models (LLM), such as ChatGPT and Google Gemini.

When you scale this up and think about large hacker gangs with their skills and capacity, you realize what this seemingly insignificant hacker chat bot from the dark web really means for AI software. This makes it all the more important that legislation and the adaptation of IT defenses take into account both the opportunities offered by the use of AI to make work easier, optimize processes and strengthen IT security, as well as the threats posed by the misuse of AI.“

Von Jakob Jung

Dr. Jakob Jung ist Chefredakteur Security Storage und Channel Germany. Er ist seit mehr als 20 Jahren im IT-Journalismus tätig. Zu seinen beruflichen Stationen gehören Computer Reseller News, Heise Resale, Informationweek, Techtarget (Storage und Datacenter) sowie ChannelBiz. Darüber hinaus ist er für zahlreiche IT-Publikationen freiberuflich tätig, darunter Computerwoche, Channelpartner, IT-Business, Storage-Insider und ZDnet. Seine Themenschwerpunkte sind Channel, Storage, Security, Datacenter, ERP und CRM. Dr. Jakob Jung is Editor-in-Chief of Security Storage and Channel Germany. He has been working in IT journalism for more than 20 years. His career includes Computer Reseller News, Heise Resale, Informationweek, Techtarget (storage and data center) and ChannelBiz. He also freelances for numerous IT publications, including Computerwoche, Channelpartner, IT-Business, Storage-Insider and ZDnet. His main topics are channel, storage, security, data center, ERP and CRM. Kontakt – Contact via Mail: jakob.jung@security-storage-und-channel-germany.de

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

WordPress Cookie Hinweis von Real Cookie Banner