Hammerspace GPU Data Orchestration

Durch das Hinzufügen von S3 zu allen anderen Standardprotokollen für die Datenerfassung gewährleistet die Hammerspace-Plattform eine nahtlose und effiziente Übertragung vorhandener Daten in ein globales Dateisystem, das durch ihr automatisiertes Orchestrierungssystem unterstützt wird. Diese Erweiterung verbessert den Zugriff auf bestehende Datensätze im Objektspeicher und optimiert die Pipeline über alle Speichertypen hinweg, so dass sich die Infrastrukturteams auf die Gewinnung von Erkenntnissen und die Förderung von Innovationen konzentrieren können.

„Der Zugriff auf verfügbare GPUs in unternehmenseigenen Rechenzentren oder in der Cloud ist eine Herausforderung. Nützliche Datensätze zu identifizieren und diese Daten lokal auf den verfügbaren Rechenressourcen zu platzieren, kann eine noch größere Herausforderung sein“, sagt Molly Presley, SVP of Global Marketing bei Hammerspace. „HPC-Zentren und Infrastruktur-Architekten in Unternehmen suchen verzweifelt nach Lösungen, um große Datensätze zu organisieren und sie dorthin zu bringen, wo sich die GPUs befinden.

Mit der zusätzlichen S3-Schnittstelle können HPC-Zentren und Infrastrukturarchitekten in Unternehmen große Datensätze unabhängig von ihrem Speicherort schnell organisieren und dorthin bringen, wo sich die Grafikprozessoren befinden.

Unternehmen benötigen automatisierte Tools, um Silo-Daten von verschiedenen Speicherorten zu nehmen, zu kombinieren und zu organisieren und sie lokal auf dem Computer zur Verarbeitung und Analyse zu platzieren. Die Hammerspace Global Data Platform vereint die beiden Schlüsselkomponenten, die für die Datenpipeline und die Speicherung für GPU-Computing benötigt werden.  Sie bietet

1. die Leistung eines parallelen Dateisystems, um GPUs produktiv zu halten.
2. den standardbasierten Ansatz, der für den Einsatz in Unternehmen erforderlich ist.
3. eine automatisierte Datenorchestrierung, um Daten lokal auf dem Computer zu platzieren.

Die Datenorchestrierungslösung von Hammerspace verschiebt Daten intelligent und unterbrechungsfrei von jedem Silo oder Standort zu Rechenressourcen an jedem Ort und stellt sicher, dass die richtigen Daten zur richtigen Zeit am richtigen Ort sind.

Diese dynamische Fähigkeit minimiert Latenzzeiten und maximiert die Recheneffizienz, so dass Unternehmen große Datensätze schneller und kostengünstiger verarbeiten können. Durch die Automatisierung der Datenbewegung eliminiert Hammerspace die Komplexität und die manuellen Eingriffe, die normalerweise mit der Datenverarbeitung und der Verwaltung von Kopien verbunden sind.

Die Integration der Datenorchestrierung in das globale Dateisystem von Hammerspace nutzt fortschrittliche Techniken wie metadatengesteuerte Datenplatzierung und regelbasiertes Management. Daten werden dynamisch verschoben und gecached, basierend auf Zugriffsmustern und Rechenanforderungen, wobei eine verteilte Architektur verwendet wird, die hohe Verfügbarkeit und Fehlertoleranz gewährleistet.

Das globale Dateisystem schafft einen einheitlichen Namensraum, so dass unterschiedliche Speichersysteme, auch über mehrere Standorte und Clouds hinweg, nahtlos als eine einzige logische Einheit angesprochen werden können. Das System unterstützt standardbasierte Multiprotokoll-Zugriffe, einschließlich pNFS, NFS, SMB, NVIDIA GPUDirect und jetzt auch S3, was die Interoperabilität über verschiedene Umgebungen hinweg ermöglicht und das Datenmanagement über geografisch verteilte Standorte hinweg vereinfacht.

Es sind weder Client-Software noch Änderungen an bestehenden Speicherressourcen erforderlich. Durch die Aufrechterhaltung der Datenkonsistenz und -integrität mittels zielbasierter automatisierter Richtlinien können Datensätze durch Softwareautomatisierung identifiziert, verschoben und verwaltet werden, ohne den Benutzerzugriff zu unterbrechen, selbst auf Live-Daten.

Eine globale Datenplattform bietet eine beispiellose Datenvereinheitlichung über verschiedene Speichersysteme und geografische Standorte hinweg und schafft so eine einheitliche, kohärente Sicht auf die Daten, unabhängig davon, wo sie sich befinden, wodurch Silos aufgebrochen werden und die Zusammenarbeit zwischen Teams und Regionen gefördert wird. Dieser ganzheitliche Ansatz verbessert die Datenkonsistenz und -zuverlässigkeit und stellt sicher, dass alle Beteiligten Zugriff auf die aktuellsten Informationen haben – eine globale Datenstrategie zur Unterstützung von KI- und Datenanalyse-Initiativen.

By adding S3 to all other standard data ingestion protocols, the Hammerspace platform ensures a seamless and efficient transfer of existing data into a global file system powered by its automated orchestration system. This expansion improves access to existing data sets in object storage and optimizes the pipeline across all storage types, allowing infrastructure teams to focus on deriving insights and driving innovation.

„Accessing available GPUs in an organization’s own data centers or in the cloud is challenging. Identifying useful data sets and placing that data locally on available compute resources can be even more challenging,“ said Molly Presley, SVP of Global Marketing at Hammerspace. „HPC centers and enterprise infrastructure architects are desperate for solutions to organize large data sets and mobilize them to where the GPUs are located. With the addition of the S3 interface, HPC centers and enterprise infrastructure architects can quickly organize large data sets regardless of location and mobilize them to where the GPUs are located.“

Enterprises need automated tools to take siloed data from multiple storage locations, combine and organize it, and place it locally on compute for processing and analysis. The Hammerspace Global Data Platform brings together the two key components needed for the data pipeline and storage for GPU computing.  It provides:

1. The power of a parallel file system to keep GPUs productive.
2. The standards-based approach required for enterprise adoption.
3. Automated data orchestration to place data locally on the compute.

Hammerspace’s data orchestration solution intelligently and non-disruptively moves data from any silo or location to compute resources anywhere, ensuring that the right data is in the right place at the right time.

This dynamic capability minimizes latency and maximizes compute efficiency, enabling organizations to process large data sets faster and more cost-effectively. By automating data movement, Hammerspace eliminates the complexity and manual intervention typically associated with data handling and copy management, enabling organizations to streamline operations and accelerate time to market.

The integration of data orchestration with the Hammerspace global file system employs advanced techniques such as metadata-driven data placement and policy-based management. Data is dynamically moved and cached based on access patterns and compute requirements, using a distributed architecture that ensures high availability and fault tolerance.

The global file system creates a unified namespace so that disparate storage systems, even across multiple sites and clouds, can be seamlessly accessed as a single logical entity. This system supports standards-based multi-protocol access, including pNFS, NFS, SMB, NVIDIA GPUDirect, and now S3, enabling interoperability across environments and simplifying data governance across geographically dispersed sites.

No client software or changes to existing storage resources are required. By maintaining data consistency and integrity through goal-based automated policies, data sets can be identified, moved, and managed through software automation without disrupting user access, even to live data.

A global data platform provides unparalleled data unification across disparate storage systems and geographic locations, creating a single, cohesive view of data regardless of where it resides, breaking down silos and fostering collaboration across teams and geographies. This holistic approach improves data consistency and reliability, and ensures that all stakeholders have access to the most up-to-date information – driving a global data strategy to power AI and data analytics initiatives.