GPU-Power trifft Cyber-Resilienz – GPU Power Meets Cyber Resilience

Allerdings gibt es zwei häufig übersehene Komponenten, die genauso entscheidend für die Leistung von KI-Plattformen sind: die Durchsatzkapazität von Speichersystemen sowie die Bereitschaft im Bereich der Cybersicherheit. Gartner liefert detaillierte Informationen zur Bedeutung dieser Elemente für die Sicherstellung einer insgesamt robusten KI-Infrastruktur.

Die Lücke schließen: Speichersysteme müssen mit der GPU-Geschwindigkeit Schritt halten

Moderne KI-Modelle verarbeiten gewaltige Datensätze. Ihre Effektivität hängt zunehmend davon ab, wie effizient Daten an GPU-Cluster geliefert werden können. GPUs, die mit umfangreichen internen Speicherkonfigurationen sowie Technologien für Hochgeschwindigkeitsnetzwerke ausgestattet sind, verdeutlichen die Notwendigkeit, dass externe Speichersysteme weit über das hinausgehen müssen, was traditionelle Lösungen leisten können. Da jede GPU typischerweise etwa 2 GB pro Sekunde an Daten Throughput liefern kann, erfordert eine Konfiguration mit 8 GPUs etwa 16 GB pro Sekunde – Anforderungen, die in größeren KI-Superclustern exponentiell steigen. Die Priorität liegt daher nicht nur auf der reinen Speicherkapazität, sondern auch auf der Effizienz des Datendurchsatzes pro Petabyte.

Dateisysteme, Object Storage und GPU Direct

POSIX-konforme Dateisysteme stellen nach wie vor die Grundlage für KI-Workflows dar, insbesondere in Verbindung mit NVIDIA’s GPU-Direct – einer Technologie, die einen direkten Datenaustausch zwischen Speicher und GPU-Speicher ermöglicht und so CPU-Flaschenhälse vermeidet. Dennoch ist ein Wandel zu beobachten: Object Storage gewinnt zunehmend an Bedeutung – insbesondere in Cloud-Umgebungen, in denen Hyperscale-Anbieter Objektspeicher intensiv zum Einsatz bringen. Aufgrund der Skalierbarkeit und des geringeren Overheads im Vergleich zu traditionellen Dateisystemen deutet einiges darauf hin, dass bald ein object-native Zugriffsverfahren für GPU-Direct zum Standard wird, auch in On-Prem Bereitstellungen.

Analysten haben in jüngsten Studien vermehrt die Vorteile von Object Storage für die Verarbeitung von KI-Modellen thematisiert. Echtzeit-Inferenz-Workloads, die auf schnelle „In-Memory“-Verarbeitung von Milliarden (bald Billionen) von Modell-Tokens angewiesen sind, eignen sich jedoch weniger für groß angelegte externe Speichersysteme. Diese Anwendungen erfordern eine extrem niedrige Latenz  sowie eine speichernahe Rechenleistung, was den Bedarf an Speicherarchitekturen unterstreicht, die auf spezifische Anwendungsfälle fein abgestimmt sind.

Speicher: (Noch immer) ein blinder Fleck in den Strategien von KI-Teams

Trotz seiner Allgegenwart wird Speicher oft von KI- und Data-Science-Teams weniger priorisiert. Viele Projekte verlassen sich weiterhin auf traditionelle Infrastrukturen, obwohl neuere Lösungen speziell für KI-Workloads entwickelt wurden. Da KI-Modelle zunehmend komplexer und datenintensiver werden, ist der Bedarf an skalierbarem, leistungsstarkem Speicher entscheidend. Disaggregierte Speicherarchitekturen, die Speichermodule von Rechenressourcen trennen, ermöglichen eine unabhängige Skalierung und eine effiziente Ressourcennutzung, die den hohen Leistungsanforderungen moderner KI-Anwendungen gerecht werden.

Der andere Engpass: Sicherheit in Hochleistungs-KI-Umgebungen

Während die Leistung im Vordergrund steht, wird die Sicherheitslage von KI-Infrastrukturen zunehmend wichtiger. Dies gilt insbesondere, wenn Workloads in Multi-Tenant- und Cloud-native Umgebungen migrieren. Technologien wie GPU-Direct, die den Datendurchsatz steigern, können auch neue Sicherheitslücken eröffnen. So kann gemeinsam genutzter GPU-Speicher zu unbefugtem Datenzugriff (Leckage) führen und unautorisierten Zugriff zwischen verschiedenen Mandanten ermöglichen. Der direkte Zugriff auf Schnittstellen öffnet zudem Wege für Malware-Injektionen durch Ausnutzung von Speicherpuffer-Schwachstellen. In unzureichend isolierten Umgebungen kann ein kompromittierter Workload eines Mandanten die Integrität anderer bedrohen. Diese Risiken sind insbesondere in Cloud- und High-Performance-Computing (HPC)-Kontexten verstärkt, in denen Hardware virtualisiert und zwischen mehreren Nutzern geteilt wird. Dennoch gehen viele Organisationen davon aus, dass solche Umgebungen von Natur aus sicher sind – eine Annahme, die sich als kostspielig herausstellen könnte.

KI-Workloads sichern: Ein strategischer Rahmen

Um KI-Workloads in HPC-Umgebungen effektiv zu sichern, müssen Unternehmen über statische, perimeterbasierte Sicherheitsmechanismen hinausgehen und auf infrastrukturell tiefe, Arbeitslasten-bewusste Sicherheitsstrategien setzen. Dies erfordert ein widerstandsfähiges Framework, das Sicherheit in den Kern der KI-Infrastruktur integriert. Zu den Schlüsselkomponenten gehört die Implementierung von granularen Zugriffskontrollen, die strikte, identitätsbasierte Richtlinien zur Steuerung des Zugriffs auf GPUs und Speicherressourcen durchsetzen.

Ebenso entscheidend ist der Einsatz umfassender Verschlüsselungsprotokolle, die Daten über den gesamten Lebenszyklus hinweg schützen – im Ruhezustand, während der Übertragung und, wenn technisch möglich, während der Verarbeitung – unter Verwendung fortschrittlicher Technologien wie homomorpher Verschlüsselung sowie Trusted Execution Environments (TEEs).

Darüber hinaus sollten Organisationen softwaredefinierte Speicherarchitekturen einführen, die von Natur aus widerstandsfähig sind und Cyber-Abwehrmechanismen wie Datenunveränderlichkeit, WORM-Funktionen (Write-Once-Read-Many) und Echtzeit-Anomalieerkennung integrieren. Schließlich sollten Object Storage-Lösungen mit Sicherheitsdesign Priorität genießen, insbesondere in Cloud-nativen Bereitstellungen, da sie native Telemetrie, integrierte Bedrohungserkennung und automatisierte Wiederherstellungsabläufe bieten, um die Datenintegrität und -verfügbarkeit unter widrigen Bedingungen sicherzustellen.

Schnell voran – aber mit Bedacht: Das Gleichgewicht zwischen Geschwindigkeit und Sicherheit 

Während KI-Plattformen in Größe und Komplexität wachsen, muss der Kompromiss zwischen Leistung und Sicherheit neu gedacht werden. In der Realität können sich Unternehmen nicht mehr leisten, das eine auf Kosten des anderen zu priorisieren – vielmehr sind beide unentbehrlich. Die Zukunft der KI-Infrastruktur liegt in Hochdurchsatz-, Low-Latency-Speichersystemen, die zunehmend auf Object Storage-Paradigmen mit direkter GPU-Integration basieren und durch moderne, adaptive Maßnahmen der Cybersicherheit gehärtet werden. Nur Unternehmen, die ihre Strategien zur Infrastruktur tatsächlich mit dieser Vision in Einklang bringen, werden in der Lage sein, die transformative Kraft von KI sicher und nachhaltig zu nutzen.

However, two often-overlooked components are just as critical to the performance of AI platforms: storage system throughput capacity and cybersecurity readiness. Gartner provides detailed information on the importance of these elements in ensuring robust AI infrastructure overall.

Closing the Gap: Storage systems must keep pace with GPU speed.

Modern AI models process enormous data sets. Their effectiveness depends on how efficiently data can be delivered to GPU clusters. GPUs are equipped with extensive internal memory configurations and high-speed networking technologies, which highlights the need for external storage systems to surpass the capabilities of traditional solutions. Since each GPU can typically deliver about 2 GB of data per second, a configuration with eight GPUs requires about 16 GB per second. These requirements increase exponentially in larger AI superclusters. Therefore, the priority is not only on pure storage capacity but also on the efficiency of data throughput per petabyte.

File systems, object storage, and GPU Direct

POSIX-compliant file systems continue to form the basis of AI workflows, particularly when used with NVIDIA’s GPU Direct technology, which enables direct data exchange between storage and GPU memory. This technology avoids CPU bottlenecks. However, there is a noticeable shift: object storage is becoming increasingly important, particularly in cloud environments where hyperscale providers extensively use object storage. Because of its scalability and lower overhead compared to traditional file systems, it is likely that an object-native access method for GPU Direct will soon become the standard, even in on-premises deployments.

Analysts have increasingly highlighted the advantages of object storage for processing AI models in recent studies. However, real-time inference workloads that rely on the fast, in-memory processing of billions (soon to be trillions) of model tokens are not well-suited to large-scale external storage systems. These applications require extremely low latency and memory-close computing power, underscoring the need for storage architectures finely tuned to specific use cases.

Storage remains a blind spot in AI teams‘ strategies.

Despite its ubiquity, storage is often deprioritized by AI and data science teams. Many projects continue to rely on traditional infrastructures even though newer solutions have been developed specifically for AI workloads. As AI models become more complex and data-intensive, scalable, high-performance storage becomes critical. Disaggregated storage architectures separate storage modules from computing resources. This enables independent scaling and efficient resource utilization to meet the high-performance requirements of modern AI applications.

Another bottleneck is security in high-performance AI environments.

Although performance is important, the security of AI infrastructures is becoming increasingly important. This is particularly relevant as workloads migrate to multi-tenant and cloud-native environments. Technologies that increase data throughput, such as GPU Direct, can also create new security vulnerabilities. For instance, shared GPU memory can result in unauthorized data access and enable access between different tenants. Direct access to interfaces can also allow malware to be injected by exploiting memory buffer vulnerabilities. In environments that are not sufficiently isolated, a compromised workload from one tenant can threaten the integrity of others.

These risks are heightened in cloud and high-performance computing (HPC) environments, where hardware is virtualized and shared among multiple users. However, many organizations mistakenly assume that such environments are inherently secure, which could prove costly.

Securing AI Workloads: A Strategic Framework

To effectively secure AI workloads in HPC environments, organizations must adopt infrastructure-deep, workload-aware security strategies that go beyond static, perimeter-based security mechanisms. This requires a resilient framework that integrates security into the core of the AI infrastructure. Key components include implementing granular access controls that enforce strict, identity-based policies to control access to GPUs and storage resources.

Equally critical is using comprehensive encryption protocols to protect data throughout its lifecycle—at rest, in transit, and, when feasible, during processing—with advanced technologies such as homomorphic encryption and trusted execution environments (TEEs).

Organizations should also adopt software-defined storage architectures that are inherently resilient and incorporate cyber defense mechanisms, such as data immutability, WORM (write-once-read-many) capabilities, and real-time anomaly detection. Finally, they should prioritize security-designed object storage solutions, especially in cloud-native deployments, as these solutions offer native telemetry, integrated threat detection, and automated recovery workflows to ensure data integrity and availability under adverse conditions.

Balancing speed and security

As AI platforms grow in size and complexity, the trade-off between performance and security must be reconsidered. In reality, companies can no longer afford to prioritize one at the expense of the other because both are indispensable. The future of AI infrastructure lies in high-throughput, low-latency storage systems based on object storage paradigms with direct GPU integration and modern, adaptive cybersecurity measures. Only companies that align their infrastructure strategies with this vision will be able to safely and sustainably harness the transformative power of AI.