Dark Gemini greift an – Dark Gemini attacks

Mit der Einführung neuer Large Language Models (LLM) sind auch entsprechende unethische Modelle nur eine Frage der Zeit. Ähnlich verlief es bei der Vorstellung von Google Gemini, denn seit April machen Nachrichten von Dark Gemini die Runde.

Gadi Evron, CEO von Knostic, schreibt auf LinkedIn:  „DarkGemini ist ein leistungsfähiger neuer GenAI-Chatbot, der jetzt im Dark Web für eine monatliche Gebühr von 45 Dollar verkauft wird. Er ist in der Lage, eine Reverse Shell zu generieren, Malware zu erstellen und sogar Personen anhand eines Bildes zu lokalisieren. Ein Bot der „nächsten Generation“, der speziell entwickelt wurde, um GenAI für den Angreifer von nebenan leichter zugänglich zu machen.“

Robert Lemnos von Dark Reading schreibt: „Es gibt bereits zahlreiche KI-Chatbots, die auf Inhalte aus dem Dark Web trainiert wurden, darunter FraudGPT, WormGPT und DarkBART. Unzensierte KI-Modelle, die auf Llama2 und dem hybriden Wizard-Vicuna-Ansatz basieren, sind auch als vortrainierte Downloads in Repositories verfügbar.“ Dark Gemini als KI-gesteuerte bösartiger Front-End-Dienst hat wahrscheinlich die an legitime LLMs gesendeten Aufforderungen geändert, um die Beschränkungen für das Schreiben von bösartigen Programmen und die Geolokalisierung von Personen auf Fotos zu umgehen.

Marco Eggerling, Global CISO bei Check Point Software kommentiert: „Man darf den Erfolg der Macher hinter Dark Gemini nicht unterschätzen und die Bedrohung, die davon ausgeht. Zwar ist das Programm, wie einige Sicherheitsforscher meinten, tatsächlich nicht der große Wurf, aber es zeigt, wieviel mit wenig Aufwand möglich ist. Ein kleiner Front-End-Dienst reicht also aus, um Sicherheitsrichtlinien teilweise zu brechen, die einen kriminellen Gebrauch von Large Language Modells (LLM), wie ChatGPT und Google Gemini, verhindern sollen.

Skaliert man das hoch und denkt an große Hacker-Banden mit ihren Fähigkeiten und ihrer Kapazität, dann wird einem bewusst, was dieser auf den ersten Blick unbedeutend wirkende Hacker-Chat-Bot aus dem Dark Web wirklich für KI-Software bedeutet. Umso wichtiger ist es nun, dass einerseits über die Gesetzgebung und andererseits über die Anpassung der IT-Abwehr sowohl den Chancen der KI-Nutzung zur Arbeitserleichterung, Prozess-Optimierung und Verstärkung der IT-Sicherheit, als auch den Bedrohungen durch KI-Missbrauch Rechnung getragen wird.“

With the introduction of new Large Language Models (LLM), unethical models are only a matter of time. The introduction of Google Gemini was similar, as news of Dark Gemini has been doing the rounds since April.

Gadi Evron, CEO of Knostic, writes on LinkedIn: “DarkGemini is a powerful new GenAI chatbot, now being sold on the dark web for a $45 monthly subscription. It can generate a reverse shell, build malware, or even locate people based on an image. A “next generation” bot, built specifically to make GenAI more accessible to the attacker next door.”

Robert Lemnos of Dark Reading writes: “Already, AI chatbots trained on content from the Dark Web have proliferated, including FraudGPT, WormGPT, and DarkBART. Uncensored AI models based on Llama2 and the hybrid Wizard-Vicuna approaches are also available as pre-trained downloads from repositories.” Dark Gemini, as an AI-driven malicious front-end service, likely modified the prompts sent to legitimate LLMs to circumvent restrictions on writing malicious programs and geolocating people in photos.

Dark Gemini, as an AI-driven malicious front-end service, likely modified the prompts sent to legitimate LLMs to circumvent restrictions on writing malicious programs and geolocating people in photos.

Marco Eggerling, global CISO at Check Point Software, comments, „The success of the creators of Dark Gemini and the threat it poses cannot be underestimated. The program may not be the big hit some security researchers have claimed, but it shows how much can be done with little effort. A small front-end service is enough to partially break security policies designed to prevent criminal use of Large Language Models (LLM), such as ChatGPT and Google Gemini.

When you scale this up and think about large hacker gangs with their skills and capacity, you realize what this seemingly insignificant hacker chat bot from the dark web really means for AI software. This makes it all the more important that legislation and the adaptation of IT defenses take into account both the opportunities offered by the use of AI to make work easier, optimize processes and strengthen IT security, as well as the threats posed by the misuse of AI.“