DeepSeek Keylogger

Hintergrund

Da generative künstliche Intelligenz (GenAI) seit der Einführung von ChatGPT immer populärer geworden ist, haben Cyberkriminelle eine Vorliebe für GenAI-Tools entwickelt, die sie bei ihren verschiedenen Aktivitäten unterstützen. Die meisten herkömmlichen GenAI-Tools verfügen jedoch über verschiedene Schutzmechanismen, um Versuche, sie für bösartige Zwecke zu missbrauchen, abzuwehren. Die cyberkriminelle Nutzung von Tools wie ChatGPT von OpenAI und Gemini von Google wurde sowohl von OpenAI („Disrupting malicious uses of AI by state-affiliated threat actors“) als auch von Google („Adversarial Misuse of Generative AI“) dokumentiert. OpenAI hat kürzlich Konten chinesischer und nordkoreanischer Nutzer gelöscht, die ChatGPT für böswillige Zwecke genutzt hatten.

Cyberkriminelle haben auch ihre eigenen bösartigen Large Language Models (LLMs) wie WormGPT, FraudGPT, Evil-GPT und kürzlich GhostGPT entwickelt. Diese bösartigen LLMs sind gegen eine einmalige Zahlung oder eine Abonnementgebühr erhältlich. Mit der jüngsten Open-Source-Veröffentlichung der lokalen LLMs von DeepSeek wie DeepSeek V3 und DeepSeek R1 erwarten die Forscher jedoch, dass Cyberkriminelle versuchen werden, diese frei zugänglichen Modelle zu nutzen.

Tenable Research führt fortlaufend Analysen von GenAI durch, um verschiedene LLMs, einschließlich DeepSeek, besser zu verstehen. Dabei wird untersucht, wie DeepSeek auf Anfragen zur Generierung von Malware reagiert.

Analyse

Im Rahmen der Untersuchung von DeepSeek, genauer gesagt von DeepSeek R1, wollten die Analysten die Fähigkeit von DeepSeek bewerten, Malware zu generieren, um einen Keylogger zu erstellen. DeepSeek R1 ist Open Source und kann bei Hugging Face heruntergeladen werden.

DeepSeek R1 ist ein schlussfolgerndes LLM, d.h. es drückt sein schlussfolgerndes Denken durch eine Technik namens Chain-of-Thought (CoT) aus. CoT ermöglicht es einem LLM, durch logisches Denken eine Aufforderung in handhabbare Schritte zu zerlegen, um zu einer gewünschten Antwort zu gelangen. Diese Technik ist dem menschlichen Denken nachempfunden, aber es ist wichtig zu beachten, dass es sich dabei nur um eine Mustererkennung und nicht um echte interne Überlegungen handelt.

CoT wurde von Google in einem Artikel mit dem Titel „Chain-of-Thought Prompting Elicits Reasoning in Large Language Models“ vorgestellt. Sie fanden heraus, dass das Einfügen einiger Beispielfragen mit detaillierten Schritt-für-Schritt-Antworten vor der Frage, auf die in der Aufforderung geantwortet werden sollte, das LLM dazu veranlasst, die Fragen in mehrere Schritte zu unterteilen, wodurch oberflächliche Antworten vermieden werden und die Genauigkeit erhöht wird.

Das CoT-Verhalten in DeepSeek ist das Ergebnis des Trainings mit Datensätzen, die schrittweise Erklärungen enthalten. Die genauen Details, wie dies erreicht wurde, sind noch nicht bekannt.

Es gibt Spekulationen, dass die CoT-Trainingsdaten synthetisch aus anderen LLMs wie denen von OpenAI erzeugt wurden. Möglicherweise wurden auch andere geeignete Datensätze wie GSM8K (mathematische Wortprobleme mit schrittweisen Lösungen) verwendet.

Der erste Test konzentrierte sich auf die Erstellung eines Windows-Keyloggers: eine kompakte, auf C++ basierende Implementierung, die mit der neuesten Windows-Version kompatibel ist. Ein ideales Ergebnis würde Funktionen wie die Umgehung des Windows Task Managers und Mechanismen zum Verstecken oder Verschlüsseln der Keylogger-Datei beinhalten, um die Entdeckung zu erschweren. Die Forscher bewerteten auch die Fähigkeit von DeepSeek, ein einfaches Ransomware-Muster zu erstellen.

Anfrage abgelehnt

Als DeepSeek gebeten wurde, einen Keylogger zu schreiben, reagierte es mit der erwarteten Ablehnung. Es ist jedoch trivial, die Schutzmechanismen von DeepSeek zu umgehen. Dieser Vorgang wird als Jailbreaking bezeichnet, und DeepSeek ist für eine Reihe von Jailbreaking-Techniken anfällig. Eine Möglichkeit, die Sicherheitsvorkehrungen von DeepSeek zu umgehen, besteht zum Beispiel darin, DeepSeek mitzuteilen, dass die Suche nur für „Bildungszwecke“ bestimmt ist.

Überlegungen zum Schreiben eines Keyloggers

Auf unsere freundliche Anfrage hin hat DeepSeek seine Anleitung zum Schreiben eines Keyloggers durchforstet und dabei interne Fragen wie „Wo soll ich überhaupt anfangen?“ und „Was ist ein Keylogger?“ gestellt. Ein interessanter Aspekt von DeepSeek’s CoT ist, dass es sich selbst dabei ertappt, wie es versucht, auf eine Aufforderung zu reagieren. Es sagt zum Beispiel „Warte“ und geht dann die möglichen Probleme durch.

Reparieren des Keylogger-Codes

Nach einigem Hin und Her mit DeepSeek wurde ein etwas fehlerhafter Code für einen Keylogger erstellt. Die Forscher mussten einige Probleme mit dem Code manuell beheben.

Nach dem manuellen Eingriff kann der Keylogger von DeepSeek kompiliert und ausgeführt werden. Er ist völlig unsichtbar, hat aber keinen Code implementiert, um sich vor dem Task-Manager zu verstecken.

Den Forschern ist es gelungen, mit DeepSeek einen Keylogger zu erstellen, der eine verschlüsselte Protokolldatei auf der Festplatte versteckt und eine einfache ausführbare Ransomware entwickelt.

Grundsätzlich kann DeepSeek das Grundgerüst für Malware erstellen. Ohne zusätzliches Prompt-Engineering und manuelle Codebearbeitung für erweiterte Funktionen ist dies jedoch nicht möglich. So hatte DeepSeek beispielsweise Probleme bei der Implementierung von Prozess-Versteckungen.

Die Forscher brachten den generierten DLL-Injektionscode zum Laufen, aber es waren viele manuelle Eingriffe erforderlich. Nichtsdestotrotz bietet DeepSeek eine nützliche Sammlung von Techniken und Suchbegriffen, die jemandem, der noch keine Erfahrung mit dem Schreiben von bösartigem Code hat, helfen kann, sich schnell mit den relevanten Konzepten vertraut zu machen.

Aufgrund dieser Analyse gehen die Forscher davon aus, dass DeepSeek in naher Zukunft die Entwicklung von KI-generiertem Schadcode durch Cyberkriminelle weiter vorantreiben wird.

Background

As generative artificial intelligence (GenAI) has increased in popularity since the launch of ChatGPT, cybercriminals have become quite fond of GenAI tools to aid in their various activities. However, most traditional GenAI tools have various guardrails in place to combat attempts to use them for malicious purposes. In fact, cybercriminal usage of tools like OpenAI’s ChatGPT and Google’s Gemini have been documented by both OpenAI (“Disrupting malicious uses of AI by state-affiliated threat actors”) and Google (“Adversarial Misuse of Generative AI”). OpenAI recently removed accounts of Chinese and North Korean users caught using ChatGPT for malicious purposes.

Cybercriminals have also developed their own malicious large language models (LLMs) like WormGPT, FraudGPT, Evil-GPT and, most recently, GhostGPT. These malicious LLMs can be accessed via a one-time payment or subscription fee. However, with the recent open source release of DeepSeek’s local LLMs, like DeepSeek V3 and DeepSeek R1, researchers anticipate cybercriminals will seek to utilize these freely accessible models.

Tenable Research is conducting ongoing analysis of GenAI as we seek to better understand various LLMs, including DeepSeek. They explore how DeepSeek responds to requests to generate malware.

Analysis

As part of the research into DeepSeek, more specifically DeepSeek R1, the analysts wanted to evaluate its malicious software, or malware generation capability to build a keylogger. Deepseek R1 is open Source and can be downloaded at Hugging Face.

DeepSeek R1 is a reasoning LLM, which means it expresses its reasoning through a technique called Chain-of-Thought (CoT). CoT enables an LLM to utilize reasoning in order to take a prompt and break it down into manageable steps so that it can arrive at a desired answer. This technique is inspired by human thought, but it is important to note that this is just pattern recognition rather than true internal deliberation.

CoT was introduced by Google in a 2022 paper entitled “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models.” They found that by including a few example questions with detailed step-by-step responses before the question they wanted answered in the prompt, it encourages the LLM to decompose questions into multiple steps, preventing it from returning surface level responses, resulting in improved accuracy.

The CoT behavior in DeepSeek emerges as a result of training on datasets that include step-by-step explanations. The exact details of how this was done are still undisclosed.

There is some speculation that CoT training data was synthetically generated by other LLMs such as those from OpenAI. Other suitable datasets such as GSM8K (math word problems with step-by-step solutions) were likely used as well.

The initial test focused on creating a Windows keylogger: a compact, C++-based implementation compatible with the latest Windows version. The ideal outcome would include features such as evasion from Windows Task Manager and mechanisms to conceal or encrypt the keylogging file, making detection more difficult. The researchers also evaluated DeepSeek’s ability to generate a simple ransomware sample.

Request denied

When DeepSeek was asked to write a keylogger, it responded with an expected denial. But it’s trivial to bypass DeepSeek’s guardrails. This process is known as jailbreaking, and DeepSeek is vulnerable to a variety of jailbreaking techniques. For example, telling DeepSeek that the research is for „educational purposes only“ is one way to get around its guardrails.

Thoughts on writing a keylogger

After we asked it nicely, DeepSeek walked through its CoT on how to write a keylogger, asking internal questions like “Where do I even start?” and “What’s a keylogger?” One interesting aspect of DeepSeek’s CoT is that it will catch itself as it is trying to answer a prompt. For instance, it’ll say “wait” and proceed to walk through potential concerns.

Fixing the keylogger code

After a bit of back and forth with DeepSeek, it produced code for a keylogger that was somewhat buggy. The researchers had to manually correct several issues with its code.

After the manual intervention, DeepSeek’s keylogger compiles and runs. It is completely hidden from view, but it failed to implement any code to hide itself from the task manager.

The researchers successfully used DeepSeek to create a keylogger that could hide an encrypted log file on disk as well as develop a simple ransomware executable.

At its core, DeepSeek can create the basic structure for malware. However, it is not capable of doing so without additional prompt engineering as well as manual code editing for more advanced features. For instance, DeepSeek struggled with implementing process hiding.

The researchers got the DLL injection code it had generated working, but it required lots of manual intervention. Nonetheless, DeepSeek provides a useful compilation of techniques and search terms that can help someone with no prior experience in writing malicious code the ability to quickly familiarize themselves with the relevant concepts.

Based on this analysis, researchers believe that DeepSeek is likely to fuel further development of malicious AI-generated code by cybercriminals in the near future.