DDN: Storage für KI – DDN: Storage for AI

Kurt Kuckein, Vice President Marketing DDN Storage, und James Coomer, SVP Products und CTO DDN Storage, stellten das Konzept auf der IT Press Tour vor.

Eckpfeiler der DDN-Strategie ist die enge Zusammenarbeit mit NVIDIA. Die beiden Unternehmen arbeiteten bereits vor dem Hype um ChatGPT jahrelang gemeinsam an Lösungen für künstliche Intelligenz.  „Ich habe eine ganz einfache Erklärung: NVIDIA nutzt DDN“, betont Manuvir Das, Leiter der Abteilung Enterprise Computing bei NVIDIA.

DDN hat sich zum Ziel gesetzt, der Goldstandard für KI zu werden. Mit DDN können Kunden das volle Potenzial ihrer GPU-basierten Infrastruktur ausschöpfen. DDN wird hinter Zehntausenden von NVIDIA DGX™ Systemen eingesetzt, darunter NVIDIAs eigene Supercomputer Selene, Cambridge-1 und EOS, und hat sich in KI-Rechenzentren auf der ganzen Welt bewährt.

Die Herausforderung

Storage für KI erfordert eine Infrastruktur, die für KI-Workflows ausgelegt ist. Ein Rechenzentrum, das auf diese speziellen Anforderungen ausgerichtet ist, ermöglicht eine schnellere Datenverarbeitung, einen höheren Durchsatz und eine kürzere Zeit bis zur Erkenntnis.

Datenspeichersysteme, die nicht für die Komplexität von KI-Workflows ausgelegt sind, können die Zeit bis zur Erkenntnis verlangsamen und zu einem kostspieligen Fehler werden. Es ist praktisch unmöglich, in die Produktion einzusteigen, wenn Standardspeichersysteme mit Hochleistungsanwendungen kombiniert werden.

Unternehmen stehen vor der Herausforderung, unterschiedliche Datenquellen an verschiedenen Standorten – vor Ort, in der Peripherie und in verschiedenen Cloud-Umgebungen – sowie unterschiedliche Systeme für unterschiedliche Anwendungen und den gemeinsamen Zugriff auf Datenquellen zu verwalten. Die Daten werden vor Ort generiert und müssen zwischen dem Standort und dem Rechenzentrum bewegt werden, um genutzt werden zu können. Die steigende Nachfrage nach verteilten, unstrukturierten Daten erfordert die Kennzeichnung mit Metadaten, um sicherzustellen, dass sie schnell, effizient und sicher übertragen werden.

Zusätzliche Herausforderungen, wie steigende Energiekosten und Platzmangel in Rechenzentren, zwingen Unternehmen dazu, alle Ressourcen zu optimieren und voll auszuschöpfen, wobei der Speicher so effizient wie möglich arbeiten muss.

Die Lösung

DDN Infinia kombiniert Mandantenfähigkeit in großem Maßstab, Containerisierung und das höchste Maß an Geschwindigkeit und Effizienz, das Kunden von DDN-Systemen erwarten, mit einfacher Verwaltung und leistungsstarken Sicherheitsattributen. Die innovative Architektur beschleunigt und vereinfacht Workflows für die Datenmanagement-Anforderungen von heute und morgen, von generativer KI und großen Sprachmodellen (LLM) bis hin zu vielseitigen und komplexen Workflow-Bewegungen von der Peripherie in Rechenzentren und die Cloud. DDN Infinia beseitigt Hardware-Abhängigkeiten mit integrierten Kernfunktionen, um die Anforderungen an ein sicheres unternehmensweites KI-Datenmanagement zu erfüllen. Die DDN Infinia Leapfrog Architektur wurde entwickelt, um neuen Anforderungen gerecht zu werden.

„Das Datenmanagement ist sehr komplex geworden, und der Markt verlangt nach einem neuen Paradigma, das den Herausforderungen des explosionsartigen Wachstums von KI-Daten auf sichere, mandantenfähige, energieeffiziente und kostengünstige Weise gerecht wird“, sagt Dr. James Coomer, SVP of Products bei DDN. „Unternehmen müssen unterschiedliche Datentypen, die von vielen Sensoren und Quellen an verteilten Standorten gesammelt werden, zusammenführen und sicherstellen, dass die resultierenden Daten kontrollierbar, sicher und für Geschäfts- und Datenverarbeitungsanforderungen verfügbar sind. DDN Infinia wurde von Grund auf entwickelt, um diese Anforderungen zu erfüllen.

DDN Infinia adressiert die Anforderungen an das Datenmanagement mit einer neuen softwaredefinierten Plattform, die hohe Leistung bietet und einfach zu implementieren und zu skalieren ist. DDN Infinia ist zunächst für Amazon S3 Object Storage-Umgebungen verfügbar und bietet folgende Kernfunktionen

Selbstkonfigurierende Installation – nur 10 Minuten für die Bereitstellung; keine Ausfallzeiten durch rollierende Upgrades und elastische Erweiterung; freihändige Speicherzuweisung nach Geschäftsrichtlinien; Self-Service für mehrere Mandanten.

Einfache Datenbereitstellung – Dynamic Data Engine erstellt neue Mandanten mit einem Befehl oder einem Klick; definiert Kapazitätsgrenzen und Leistungsanteile; vollständige Bereitstellung innerhalb von Sekunden.

Mandantenfähigkeit und Quality of Service (QoS): 100% Software-basierter nativer SLA Manager; automatisiert verteilten Keyspace sicher für maximale gemeinsame Ressourcennutzung und höchste Effizienz.

Steuerung und Kontrolle: Kombiniert schnelles und skalierbares Metadaten-Management mit skalierbarem Speicher; reduziert Komplexität und Duplizierung von Daten und Metadaten; verfolgt Modell-Training, Tagging und Suche, End-to-End-Modell und Governance.

Kurt Kuckein, Vice President Marketing DDN Storage, and James Coomer, SVP Products and CTO DDN Storage, presented the concept at the IT Press Tour.

A cornerstone of DDN’s strategy is its close collaboration with NVIDIA. The two companies have been working together on artificial intelligence solutions for years, even before the ChatGPT hype.  „I have a very simple explanation: NVIDIA uses DDN,“ said Manuvir Das, head of enterprise computing at NVIDIA.

DDN is committed to becoming the gold standard for AI. With DDN, customers can realize the full potential of their GPU-based infrastructure. DDN powers tens of thousands of NVIDIA DGX™ systems, including NVIDIA’s own Selene, Cambridge-1, and EOS supercomputers, and is proven in AI datacenters around the world.

The Challenge

Storage for AI requires an infrastructure designed for AI workflows. A data center designed for these specific requirements enables faster data processing, higher throughput, and faster time to insight.

Data storage systems that are not designed for the complexity of AI workflows can slow time to insight and become a costly mistake. It’s virtually impossible to get into production when standard storage systems are combined with high-performance applications.

Enterprises are challenged with managing multiple data sources in multiple locations-on-premises, at the edge, and in multiple cloud environments-as well as different systems for different applications and shared access to data sources. Data is created in the field and must be moved between the field and the data center to be used. The increasing demand for distributed, unstructured data requires that it be tagged with metadata to ensure that it is transferred quickly, efficiently, and securely.

Additional challenges, such as rising energy costs and data center space constraints, are forcing organizations to optimize and fully utilize all resources, with storage operating as efficiently as possible.

The Solution

DDN Infinia combines large-scale multi-tenancy, containerization, and the highest levels of speed and efficiency customers have come to expect from DDN systems with simplified management and strong security features. The innovative architecture accelerates and simplifies workflows for today’s and tomorrow’s data management needs, from generative AI and large language models (LLM) to diverse and complex workflow movements from the edge to data centers and the cloud. DDN Infinia eliminates hardware dependencies with built-in core capabilities to meet the needs of secure, enterprise-wide AI data management. The DDN Infinia Leapfrog architecture is designed to meet new demands.

„Data management has become very complex, and the market is demanding a new paradigm that addresses the challenges of the explosive growth of AI data in a secure, multi-tenant, energy-efficient and cost-effective manner,“ said Dr. James Coomer, SVP of Products at DDN. „Organizations need to bring together disparate types of data collected from many sensors and sources in distributed locations and ensure that the resulting data is controllable, secure and available for business and computing needs. DDN Infinia was designed from the ground up to address these needs.”

DDN Infinia addresses data management needs with a new software-defined platform that delivers high performance and is easy to deploy and scale. Initially available for Amazon S3 object storage environments, DDN Infinia offers the following key features

Self-Configuring Installation – 10-minute deployment; zero downtime with rolling upgrades and elastic expansion; hands-free storage allocation based on business policies; multi-tenant self-service.

Easy data provisioning – Dynamic Data Engine creates new tenants with a single command or click; defines capacity limits and performance shares; full provisioning in seconds.

Multi-tenancy and Quality of Service (QoS): 100% software-based native SLA manager; securely automates distributed keyspace for maximum resource sharing and efficiency.

Governance and Control: Combines fast and scalable metadata management with scalable storage; reduces complexity and duplication of data and metadata; tracks model training, tagging and search, end-to-end model and governance.