Die Veröffentlichung des chinesischen KI Werkzeugs DeepSeek R1 hat die KI-Szene durcheinandergewirbelt. Experten geben ihre Einschätzung. | The release of the Chinese AI tool DeepSeek R1 has shaken up the AI scene. Experts give their opinion. |
DeepSeek R1 ist ein Rivale von ChatGPT und als kostenfreier Download auf Hugging Face verfügbar. Das Werkzeug ist nicht nur online, sondern auch in vielen Formen On-Premises einsetzbar, offiziell bereits von Dell unterstützt.
In unserem Praxistest stieß DeepSeek allerdings schnell an Grenzen. Viele Fragen werden überhaupt nicht beantwortet, andere nur im Sinne der chinesischen kommunistischen Partei und manchmal kommt auch kompletter Blödsinn, wie bei unserer Frage nach der Schlacht an der Somme 1916 (siehe Screenshot). Hier die Einschätzung einiger Experten: Satnam Narang, Senior Staff Research Engineer, Tenable: DeepSeek hat die Tech-Branche aus mehreren Gründen im Sturm erobert: Zum einen hat das Unternehmen ein Open Source Large Language Model (LLM) entwickelt, das Berichten zufolge Closed-Source-Modellen wie GPT-4 und o1 von OpenAI überlegen oder zumindest ebenbürtig ist. Zum anderen scheint es das mit weniger Rechenleistung bewerkstelligt zu haben, da die Beschaffung leistungsstärkerer Hardware durch Exportkontrollen eingeschränkt ist. Das Release von DeepSeekv3 und der leistungsstärkeren Version DeepSeek-R1 als Open Source macht LLMs praktisch jedem auf der Welt zugänglich. Das Problem bei der Sache: Im Gegensatz zu Closed-Source-Modellen, die innerhalb gewisser Leitplanken operieren, sind Open Source LLMs anfälliger für Missbrauch. Wir wissen noch nicht, wie schnell Cyberkriminelle die DeepSeek-Modelle für ihre Zwecke instrumentalisieren. Doch wenn frühere Entwicklungen ein Indikator sind, hat der Wettlauf längst begonnen. Für Cybercrime konzipierte LLMs optimieren in der Regel den Text-Output, den Scammer und Cyberkriminelle für Finanzbetrug oder die Verbreitung von Malware nutzen. Wir wissen, dass Cybercrime-Tools wie WormGPT, WolfGPT, FraudGPT, EvilGPT und das neu entdeckte GhostGPT in Untergrund-Foren gehandelt wurden. Für eine Prognose ist es noch sehr früh, aber es würde mich nicht überraschen, wenn die Entwicklung von DeepSeek-Wrappern – sprich Tools, die auf DeepSeek basieren und für Cybercrime konzipiert sind – oder die zweckgerichtete Modifizierung bestehender Modelle durch Cyberkriminelle rasant an Fahrt aufnehmen würde. Andrew Stiefel, Senior Product Marketing Manager beim Open-Source-Sicherheitsunternehmen Endor Labs, sagte: „Die Kernmodelle sind auf Hugging Face verfügbar, und wenn man sie selbst hostet, gibt es derzeit keine Anzeichen dafür, dass Daten mit der chinesischen Regierung geteilt werden. „DeepSeek bietet jedoch auch eine gehostete Version und eine API an. Wie bei allen anderen Datenverarbeitern, die Sie verwenden, sollten Sie prüfen, wie diese Daten verarbeitet werden und wer Zugriff darauf hat. Wir empfehlen, keine vertraulichen Daten mit der gehosteten Version oder der API-Version zu teilen. „CISOs sollten bedenken, dass es sich nicht um ein einziges Modell handelt – es gibt Hunderte von Modellen, von denen einige von Hugging Face heruntergeladen werden können, einige vom Unternehmen selbst gehostet werden und Hunderte von Modellen, die von der Open-Source-Community aus den ursprünglich auf Hugging Face veröffentlichten Modellen entwickelt wurden. „Wir sollten zwei Dinge im Auge behalten: Open-Source-KI-Modelle sind nicht per se riskant; viele argumentieren, dass sie sicherer sind als proprietäre Modelle, weil sie offen entwickelt werden. Aber es gibt berechtigte Fragen, ob die DeepSeek-Modelle sicher sind, weil die Entwickler in China sitzen. „Es gibt Sicherheits- und Betriebsgründe, die gegen die Verwendung von DeepSeek R1 sprechen, aber es ist nicht unbedingt „schlechter“ als andere Modelle, zumindest wenn Sie das Modell selbst hosten und anpassen. Wägen Sie diese Faktoren gegen das Bedrohungsmodell Ihres Unternehmens ab und entscheiden Sie, ob es sich lohnt, es weiter zu testen. „CISOs müssen darüber nachdenken, wie sie eine kontinuierliche Erkennung, Bewertung und Behandlung von Risiken in KI-Modellen sicherstellen können. Wir müssen den Softwareentwicklungsteams Raum zum Experimentieren geben, aber gleichzeitig den Überblick behalten und bei risikobehafteten Entscheidungen eingreifen. Das Sicherheitsteam braucht einen Überblick und Einblick, um handeln zu können – bei Endor Labs haben wir gerade neue Funktionen zur Erkennung von KI-Modellen veröffentlicht, um dies zu ermöglichen. „Sicherheit über mehrere Vektoren hinweg denken und für jeden die entsprechenden Kontrollen implementieren: „SaaS – Mitarbeiter, die mit dem gehosteten Modell chatten „API-Integrationen – Entwickler, die ihre Anwendungen mit dem gehosteten Modell integrieren. „DeepSeek verwendet, wie viele KI-Anbieter, OpenAI-Tools, um Entwicklern den Zugriff auf ihre API zu erleichtern. Entwickler müssen im Wesentlichen zwei Zeilen Code ändern, um von OpenAI zu DeepSeek zu wechseln. „Open-Source-Modelle – Entwickler verwenden eines der Hugging-Face-Modelle von DeepSeek, eine destillierte Version, die von der Community erstellt wurde, oder sie trainieren ihre eigenen Modelle“. Und Melissa Ruzzi, Direktorin für künstliche Intelligenz bei der Sicherheitsfirma AppOmni, kommentierte: „DeepSeek-Nutzerdaten werden gesammelt und nach China zurückgeschickt, einschließlich Informationen, die bei der Anmeldung angegeben wurden, Suchanfragen, Chatverläufe und hochgeladene Dateien. Das bedeutet, dass die chinesische Regierung die KI-Modelle von DeepSeek potenziell nutzen könnte, um US-Bürger auszuspionieren, sich geschützte Geheimnisse anzueignen und Einflusskampagnen durchzuführen. Da die Daten in China gespeichert werden, entsprechen sie möglicherweise nicht den Datenschutzanforderungen anderer Länder, z. B. der Datenschutz-Grundverordnung. US-Unternehmen sollten alle damit verbundenen Risiken sorgfältig abwägen, bevor sie sich für die Nutzung des Modells entscheiden. Und das Modell selbst könnte bereits voreingenommen sein, um Agenden zu unterstützen, die die Meinungsbildung der Nutzer beeinflussen könnten. „Es gibt eine Reihe von Schwachstellen, die bereits aufgedeckt wurden und Anlass zu großer Sorge geben, insbesondere im Hinblick auf Datenschutzverletzungen, die direkte Auswirkungen auf die Nutzer haben könnten. „Die US-Marine hat die Nutzung von DeepSeek aufgrund von Sicherheits- und ethischen Bedenken bereits untersagt. Dies ist ein Zeichen dafür, dass die Nutzung von DeepSeek für US-Unternehmen nicht sicher ist und dass Einzelpersonen in den USA vorsichtig sein sollten, wenn sie sich für die Nutzung von DeepSeek entscheiden. „Eines der wichtigsten Dinge, die CISOs wissen müssen, ist die Schulung und Sensibilisierung der Mitarbeiter sowie die kontinuierliche Überwachung der Nutzung von DeepSeek. Darüber hinaus könnte die Zahl der KI-gesteuerten Angriffe zunehmen, da eine der Schwachstellen von DeepSeek der Jailbreak ist, mit dem Angreifer Beschränkungen umgehen und das Programm zwingen können, bösartige Ausgaben zu generieren, die dann für andere Angriffe verwendet werden können. „Es gibt kein Patentrezept für die Sicherung von DeepSeek, aber wenn ein Unternehmen DeepSeek wirklich nutzen möchte, sollte es einige Mindestmaßnahmen ergreifen, wie z. B. die Verwendung starker Passwörter, die Beschränkung der gemeinsamen Nutzung von Daten, die Vermeidung der Registrierung von E-Mail-Adressen, die auch für andere sensible Dienste verwendet werden, und die regelmäßige Überwachung aller verwendeten Konten. „Der Aufstieg von DeepSeek unterstreicht die Bedeutung von SaaS-Sicherheit, da viele Unternehmen KI-Modelle über SaaS-Anbieter nutzen. Fast jedes KI-Produkt ist SaaS-basiert, und da SaaS-Anwendungen oft sensible Daten enthalten, können sie ein Hauptziel für Angriffe sein. Die Sicherung von KI bedeutet auch die Sicherung dieser SaaS-Anwendungen. Sobald sensible Daten in ein KI-Tool eingegeben wurden, können sie nicht mehr zurückverfolgt werden. Ein wohlmeinender Mitarbeiter könnte versehentlich vertrauliche Informationen an ein KI-Tool weitergeben, was Risiken in Bezug auf Datenschutzverletzungen birgt. Die Risiken können von Datenschutz und Cybersicherheit bis hin zu Compliance, rechtlichen Anforderungen und geistigem Eigentum reichen. Die Herausforderung muss auf allen Ebenen angegangen werden, angefangen bei den Mitarbeitern (Schulung und Ausbildung) und den Prozessen (Richtlinien für eine verantwortungsvolle Nutzung) bis hin zur Schaffung geeigneter KI-Governance-Strategien.“ |
DeepSeek R1 is a competitor to ChatGPT and can be downloaded for free from Hugging Face. The tool can be used not only online, but also in many forms locally and is already officially supported by Dell.
In our practical test, however, DeepSeek quickly reached its limits. Many questions are not answered at all, others are only answered in the sense of the Chinese Communist Party, and sometimes complete nonsense is returned, as with our question about the Battle of the Somme in 1916 (see screenshot). Here is what some experts have to say: Satnam Narang, Senior Staff Research Engineer, Tenable: DeepSeek has taken the tech industry by storm for several reasons: First, the company has developed an open source Large Language Model (LLM) that is reportedly superior to, or at least on par with, closed source models like OpenAI’s GPT-4 and o1. On the other hand, it seems to have achieved this with less computing power, as the procurement of more powerful hardware is limited by export controls. The release of DeepSeekv3 and the more powerful DeepSeek-R1 as open source makes LLMs available to virtually anyone in the world. The problem is that, unlike closed-source models that operate within certain guardrails, open-source LLMs are more vulnerable to abuse. We do not yet know how quickly cybercriminals will exploit the DeepSeek models for their own purposes. But if the past is any indication, the race is already on. LLMs designed for cybercrime typically optimize the text output that scammers and cybercriminals use to commit financial fraud or distribute malware. We know that cybercrime tools such as WormGPT, WolfGPT, FraudGPT, EvilGPT and the newly discovered GhostGPT have been traded on underground forums. It’s too early to make predictions, but I wouldn’t be surprised if the development of DeepSeek wrappers – tools based on DeepSeek and designed for cybercrime – or the targeted modification of existing models by cybercriminals accelerates rapidly. Andrew Stiefel, senior product marketing manager at open source security company, Endor Labs said:“The core models are available on Hugging Face, and if you’re hosting them yourself, there isn’t any indication at this time that data is being shared with the Chinese government. “However, DeepSeek also offers a hosted version and an API. Like any third-party data processor you might use, you should verify how that data is processed and who has access. We recommend not sharing confidential data with the hosted or API versions. “CISOs should keep in mind this isn’t a single model – there are hundreds of models involved, some available to download from Hugging Face, some hosted by the company itself, and hundreds of distilled models the open source community is training from the original models released on Hugging Face. “Let’s acknowledge two things: Open source AI models are not inherently risky; many argue they’re safer to use than proprietary models because they’re built in the open. But there are valid questions about whether DeepSeek models are safe to use because the maintainers are in China. “There are security and operational reasons to consider blocking use of DeepSeek R1, but it’s not necessarily “worse” than other models, at least if you are hosting and tuning the model yourself. Weigh these factors against your organization’s threat model and decide if it’s worth testing further. “CISOs need to be thinking about how they can ensure continuous discovery, evaluation and risk treatment of AI models. We need to give software engineering teams latitude to experiment, but we must do so while keeping full visibility, and take action on choices that present risk exposure. The security team needs line of sight, and then insight to act—at Endor Labs, we just released new AI Model Discovery features to provide this. “Think about security across multiple vectors, and implement the appropriate controls for each:
And Melissa Ruzzi, director, Artificial Intelligence at security company, AppOmni commented: “DeepSeek user data is collected and sent back to China, including information provided during sign-up, queries, chat histories, and uploaded files. This means the Chinese government could potentially use DeepSeek’s AI models to spy on American citizens, acquire proprietary secrets, and conduct influence campaigns. As the data is kept in China, it may not comply with data requirements from other countries, such as GDPR. U.S. companies should carefully consider all risks involved before deciding to use it. And the model itself could already be biased to support agendas that could impact how users form opinions. “There are a series of vulnerabilities already uncovered that raise big concerns, especially around data breaches, which could impact users directly. “The U.S. Navy has already banned the use of DeepSeek, due to security and ethical concerns. We can take this as a sign that it is not safe for U.S. companies to use it, and that individuals in the U.S. should take caution if they decide to use it. “One of the most important things CISOs need to know is around employee training and awareness, and continuous monitoring for DeepSeek use. Additionally, the volume of AI-driven attacks may increase as one of the vulnerabilities on DeepSeek is jailbreaking, where attackers can bypass restrictions and force it to generate malicious outputs that can then be used in other attacks. “There is no silver bullet to securing DeepSeek, but if a company really wants to use, it there are some minimum postures they should have in place, such as using strong passwords, limiting data sharing, avoiding registering email addresses that are used on other sensitive services, and regularly monitoring all accounts used. “DeepSeek’s rise highlights the importance of SaaS security, as many organizations consume AI models through SaaS providers. Nearly every AI product is SaaS-based, and since SaaS apps often hold sensitive data, they can be a prime target for attacks. Securing AI also means securing these SaaS apps. Sensitive data once fed to an AI tool cannot be clawed back. A well-meaning employee could inadvertently feed confidential information to an LLM that imposes risks around data breaches. The risks can range from privacy and cybersecurity to regulatory compliance, legal requirements and intellectual property. The challenge has to be addressed right from people (training and education) and processes (guidelines for responsible use) to the creating proper AI governance strategies.” |

Dr. Jakob Jung ist Chefredakteur Security Storage und Channel Germany. Er ist seit mehr als 20 Jahren im IT-Journalismus tätig. Zu seinen beruflichen Stationen gehören Computer Reseller News, Heise Resale, Informationweek, Techtarget (Storage und Datacenter) sowie ChannelBiz. Darüber hinaus ist er für zahlreiche IT-Publikationen freiberuflich tätig, darunter Computerwoche, Channelpartner, IT-Business, Storage-Insider und ZDnet. Seine Themenschwerpunkte sind Channel, Storage, Security, Datacenter, ERP und CRM.
Dr. Jakob Jung is Editor-in-Chief of Security Storage and Channel Germany. He has been working in IT journalism for more than 20 years. His career includes Computer Reseller News, Heise Resale, Informationweek, Techtarget (storage and data center) and ChannelBiz. He also freelances for numerous IT publications, including Computerwoche, Channelpartner, IT-Business, Storage-Insider and ZDnet. His main topics are channel, storage, security, data center, ERP and CRM.
Kontakt – Contact via Mail: jakob.jung@security-storage-und-channel-germany.de