| The Lustre Collective will Open-Source-Speicher für KI und HPC mit einem parallelen Dateisystem vorantreiben, das Exascale-Supercomputer und kommerzielle KI-Infrastrukturen unterstützt, wie auf der IT Press Tour gezeigt. | The Lustre Collective launches to advance Open Source Storage for AI and HPC with a parallel filesystem powering exascale supercomputers and commercial AI infrastructure as shown on IT Press Tour. |
| The Lustre Collective (TLC) wurde von Peter Jones, Andreas Dilger und Colin Faber gegründet und vereint Mitglieder des ursprünglichen Entwicklungsteams von Lustre sowie führende Community-Mitglieder, die seit zwei Jahrzehnten zu wichtigen Releases beitragen. Die Organisation positioniert sich als unabhängige Einheit, die sich auf die gemeinsame Entwicklung im gesamten Lustre-Ökosystem konzentriert. Nach seiner Gründung im November 2025 hat sich TLC zum Ziel gesetzt, die Technologie, die einige der weltweit größten Supercomputer und KI-Infrastrukturen antreibt, zu pflegen und weiter auszubauen.
Lustre dient derzeit als Speichergrundlage für acht der zehn weltweit führenden HPC-Systeme, darunter der El Capitan-Supercomputer von LLNL und das Frontier-System von ORNL. Das Dateisystem unterstützt auch kommerzielle KI-Infrastrukturen, darunter das Colossus-System von xAI und den EOS AI DGX SuperPOD von NVIDIA. Laut einer Präsentation von TLC basieren über 60 Prozent der Top-100 High Performance Computing (HPC) Systeme im Jahr 2025 auf Lustre. Die Technologie bietet Leistungsmetriken, darunter Lese-/Schreibgeschwindigkeiten von über 10 TB/s, Unterstützung für mehr als 100 Millionen IOPS und die Fähigkeit, über 100 Milliarden Dateien mit einer Kapazität von mehr als 700 TB zu verwalten. Diese Systeme können so skaliert werden, dass sie 20.000 Clients und 100.000 GPUs gleichzeitig unterstützen. Dilger, der als CTO fungiert und seit 1999 die Entwicklung von Lustre leitet, bringt 26 Jahre Erfahrung im Bereich Architektur mit. Jones, der CEO der Organisation, hatte Führungspositionen in mehreren Unternehmen inne, die große Lustre-Engineering-Projekte leiteten. Faber, Director of Engineering, war an der frühen Entwicklung von Lustre beteiligt und half beim Aufbau mehrerer Speicherplattformen. Die Gründung von TLC spiegelt Veränderungen in der Organisationslandschaft rund um die Entwicklung von Lustre wider. Die jüngsten Beiträge zur Version 2.17 stammen von mehreren Organisationen, darunter Oracle, Google, Microsoft, Eviden und mehreren nationalen Laboratorien. TLC hat sich zum Ziel gesetzt, die Entwicklungsbemühungen dieser verteilten Mitwirkenden zu koordinieren. Die Roadmap für 2026 umfasst die derzeit in Arbeit befindliche Version 2.18, die erasure-codierte Dateien, eine Papierkorb-Funktion, fehlertolerante Verwaltungsdienste und clientseitige Datenkomprimierung einführen wird. Zu den Entwicklungspartnern gehören DDN, ORNL, HPE und AWS, die spezifische Funktionen wie GPU-Peer-to-Peer-RDMA-Fähigkeiten beisteuern. Zu den zukünftigen Entwicklungsschwerpunkten gehören beschleunigte Wiederherstellungsmechanismen, Metadatenredundanz und Writeback-Caching. TLC plant, sein Engineering-Team zu erweitern, um die Ausfallsicherheit des Dateisystems, Verbesserungen der Wartungsfreundlichkeit, erweiterte Multi-Tenancy-Fähigkeiten und modernisierte Überwachungstools anzugehen. Das Unternehmen bietet kommerzielle Dienstleistungen wie Beratung, Produktionsunterstützungsverträge, Funktionsentwicklung und Unterstützung bei der Bereitstellung an. Dieses Modell richtet sich an Hyperscaler, Cloud-Anbieter und Unternehmen, die Lustre-basierte Dienstleistungsangebote entwickeln. Die Architektur von Lustre ermöglicht den direkten Zugriff von Clients auf Speicherebenen, ohne dass zwischengeschaltete Caching-Ebenen erforderlich sind. Das System unterstützt verschiedene Speichermedien, darunter NVMe-SSDs und HDDs, mit Protokollen für den Reexport von Daten über NFS, SMB und S3. Zu den Sicherheitsfunktionen gehören AES256-Verschlüsselung, Kerberos-Authentifizierung und Unterverzeichnisisolierung für Multi-Tenant-Umgebungen. Die Technologie ist auf allen großen öffentlichen Cloud-Plattformen vertreten, wo sie als First-Party-Service fungiert. Dieses Bereitstellungsmodell steht im Gegensatz zu vielen parallelen Dateisystemen, denen eine native Cloud-Integration fehlt. In seiner Ankündigung nennt TLC als seine Mission, die Position von Lustre im Exascale-Computing zu behaupten und gleichzeitig die Akzeptanz in KI-Anwendungen für Unternehmen zu erweitern. Die Organisation plant, aktualisierte langfristige Entwicklungspläne auf der Lustre User Group-Tagung im April 2026 vorzustellen. Der Markt für parallele Dateisysteme entwickelt sich weiter, da KI-Workloads neue Anforderungen an die Speicherinfrastruktur stellen. Unternehmen, die groß angelegte Schulungsmaßnahmen durchführen, benötigen Speichersysteme, die einen hohen Durchsatz für GPU-Cluster aufrechterhalten und gleichzeitig riesige Datensätze verwalten können. Die 25-jährige Betriebsgeschichte von Lustre bietet Referenzimplementierungen für diese neuen Anforderungen. |
The Lustre Collective (TLC), founded by Peter Jones, Andreas Dilger, and Colin Faber, brings together members of Lustre’s original development team and principal community leaders who have contributed to major releases over two decades. The organization positions itself as an independent entity focused on collaborative development across the Lustre ecosystem. Following its formation in November 2025, TLC is aiming to maintain and expand the technology that powers some of the world’s largest supercomputers and AI infrastructure.
Lustre currently serves as the storage foundation for eight of the top ten HPC systems globally, including LLNL’s El Capitan supercomputer and ORNL’s Frontier system. The filesystem also supports commercial AI infrastructure, including xAI’s Colossus system and NVIDIA’s EOS AI DGX SuperPOD. According to TLC’s presentation, over 60 percent of the Top100 HPC systems in 2025 rely on Lustre. The technology delivers performance metrics that include read/write speeds exceeding 10TB/s, support for more than 100 million IOPS, and the ability to manage over 100 billion files across capacities surpassing 700TB. These systems can scale to support 20,000 clients and 100,000 GPUs simultaneously. Dilger, who serves as CTO and has led Lustre development since 1999, brings architectural expertise accumulated over 26 years. Jones, the organization’s CEO, has held leadership positions in multiple companies managing large Lustre engineering operations. Faber, director of engineering, contributed to early Lustre development and helped establish several storage appliance platforms. The formation of TLC reflects changes in the organizational landscape around Lustre development. Recent contributions to version 2.17 came from multiple organizations including Oracle, Google, Microsoft, Eviden, and several national laboratories. TLC aims to coordinate development efforts across this distributed contributor base. The roadmap for 2026 includes version 2.18, currently in progress, which will introduce erasure-coded files, trash-can functionality, fault-tolerant management services, and client-side data compression. Development partnerships involve DDN, ORNL, HPE, and AWS contributing specific features such as GPU peer-to-peer RDMA capabilities. Future development priorities include accelerated recovery mechanisms, metadata redundancy, and writeback caching. TLC plans to expand its engineering team to address filesystem resiliency, serviceability improvements, enhanced multi-tenancy capabilities, and modernized monitoring tools. The organization offers commercial services including consulting, production support contracts, feature development, and deployment assistance. This model targets hyperscalers, cloud providers, and organizations building Lustre-based service offerings. Lustre’s architecture provides direct client access to storage tiers without requiring intermediate caching layers. The system supports various storage media including NVMe SSDs and HDDs, with protocols for re-exporting data via NFS, SMB, and S3. Security features include AES256 encryption, Kerberos authentication, and subdirectory isolation for multi-tenant environments. The technology’s presence extends across major public cloud platforms, where it functions as a first-party service. This deployment model contrasts with many parallel filesystems that lack native cloud integration. TLC’s announcement identifies its mission as maintaining Lustre’s position in exascale computing while expanding adoption in enterprise AI applications. The organization plans to present updated long-term development plans at the Lustre User Group meeting in April 2026. The parallel filesystem market continues to evolve as AI workloads place new demands on storage infrastructure. Organizations running large-scale training operations require storage systems capable of sustaining high throughput to GPU clusters while managing massive datasets. Lustre’s 25-year operational history provides reference implementations for these emerging requirements. |
Dr. Jakob Jung ist Chefredakteur Security Storage und Channel Germany. Er ist seit mehr als 20 Jahren im IT-Journalismus tätig. Zu seinen beruflichen Stationen gehören Computer Reseller News, Heise Resale, Informationweek, Techtarget (Storage und Datacenter) sowie ChannelBiz. Darüber hinaus ist er für zahlreiche IT-Publikationen freiberuflich tätig, darunter Computerwoche, Channelpartner, IT-Business, Storage-Insider und ZDnet. Seine Themenschwerpunkte sind Channel, Storage, Security, Datacenter, ERP und CRM.
Dr. Jakob Jung is Editor-in-Chief of Security Storage and Channel Germany. He has been working in IT journalism for more than 20 years. His career includes Computer Reseller News, Heise Resale, Informationweek, Techtarget (storage and data center) and ChannelBiz. He also freelances for numerous IT publications, including Computerwoche, Channelpartner, IT-Business, Storage-Insider and ZDnet. His main topics are channel, storage, security, data center, ERP and CRM.
Kontakt – Contact via Mail: jakob.jung@security-storage-und-channel-germany.de