Arcitecta: Datenmanagement im Petabyte-Zeitalter – Data Management in the Petabyte Era

Eigene Datenbank als Fundament

„Wir sind wahrscheinlich das einzige Unternehmen, das eine Datenbank im Kern eines Filesystems hat“, erklärt CEO und Gründer Jason Lohrey. Die Rede ist von XODB, einer Objektdatenbank, die Arcitecta seit 2010 selbst entwickelt. Sie ist extrem schlank und dennoch mächtig genug, um Billionen von Files zu verwalten.

Seit diesem Jahr unterstützt XODB auch Vektor-Embeddings für KI-Anwendungen. „Es ist nicht unsere Aufgabe, diese Vektoren zu produzieren, aber wir organisieren sie“, betont Lohrey. MediaFlux fungiert damit als Orchestrator zwischen verschiedenen KI-Diensten – von Gesichtserkennung über OCR bis hin zu Objekterkennung.

Vendor-Agnostik als Verkaufsargument

MediaFlux virtualisiert Storage unterschiedlicher Hersteller und Generationen in einer einheitlichen Plattform. „Wo immer die Rechenleistung hingeht, folgen die Daten“, fasst Eric Polet, Director of Product Marketing, das Konzept zusammen. Die Plattform läuft auf beliebiger Storage-Hardware: von NetApp über Dell ECS bis zu Cloud-Objektspeichern und Tape-Systemen.

Das Unternehmen entwickelt den Großteil seiner Technologie selbst. Der Vorteil: eine minimale Angriffsfläche für Cyberattacken und volle Kontrolle über die Plattform. „Das gibt uns ein sehr gutes Verständnis dafür, wie Dinge funktionieren“, erklärt Lohrey.

Echtzeit-Kollaboration für Medien-Workflows

Auf der NAB 2025 in Las Vegas stellte Arcitecta MediaFlux Realtime vor – ein System, das echtzeitnahes Editing über große Entfernungen ermöglicht. „Wenn jemand an Position A einen Film schreibt, kann jemand an Position B den Film lesen, während er geschrieben wird“, beschreibt Lohrey die Funktionalität. Für Broadcaster und Medienunternehmen sei dies ein „Game Changer“, da Editoren Live-Material bearbeiten können, ohne auf den vollständigen Upload warten zu müssen.

Die Lösung würde bis zu 95 Prozent der verfügbaren Leitungsgeschwindigkeit erreichen und funktioniert storage-agnostisch mit verschiedenen Technologien.

Referenzkunden aus Forschung und GLAM-Sektor

Princeton University nutzt MediaFlux für TigerData, ein System, das aktuell knapp 500 Millionen Assets und 200 Petabyte Forschungsdaten verwaltet. Die besondere Herausforderung: ein 100-Jahre-Datenmanagementplan. „Wie viele Technologie-Refreshs wird es in 100 Jahren geben?“, fragt Lohrey.

Auch das Dana-Farber Cancer Institute (DFCI) setzt auf die Plattform, ebenso die Technische Universität Dresden, die mit MediaFlux eine automatisierte Archivierungslösung von Disk auf Tape realisiert hat. Das Ergebnis: 40 Prozent weniger manuelle Arbeit, 50 Prozent schnellere Asset-Suche.

Die Imperial War Museums in Duxford und London nutzen eine von Arcitecta entwickelte Digital Asset Management-Plattform. „Der GLAM-Sektor ist ein vernachlässigter Markt für Technologie-Innovation“, konstatiert Polet. Dabei hätten diese Institutionen enorme Datenmengen – analog wie digital.

Partnerschaft mit GRAU DATA für TU Dresden

GRAU DATA, Spezialist für Datenarchivierung, Datenschutz und metadatengesteuerte Datensuche aus Schwäbisch Gmünd und Arcitecta haben ihre jeweiligen Lösungen integriert, um Unternehmen dabei zu unterstützen, große Datenmengen über mehrere Speicherplattformen hinweg strategischer und effizienter zu verwalten. Die beiden Unternehmen wurden kürzlich von der Technischen Universität Dresden ausgewählt, um die Kombination aus der Datenmanagement-Plattform Mediaflux von Arcitecta und der Objektspeichersoftware XtreemStore von GRAU DATA zu implementieren und damit die Datenarchivierung auf Magnetbändern zu optimieren.

Forschungseinrichtungen stehen vor mehreren Herausforderungen im Zusammenhang mit der Verwaltung und optimalen Nutzung ihrer wachsenden Datenmengen. Riesige Datenmengen, die über mehrere Speicherplattformen verteilt sind, führen zu eingeschränkter Transparenz und ineffizienten Archivierungsprozessen. Das Klassifizieren, Suchen und Zugreifen auf Daten kann schwierig sein – insbesondere bei selten genutzten oder archivierten Dateien. Ohne ein zentralisiertes System haben Einrichtungen oft mit fragmentierten und isolierten Tools zu kämpfen. Darüber hinaus erfordern neue Technologien eine modernere, kostengünstigere Methode für die Langzeitspeicherung, die sich in Schnittstellen wie S3 Glacier integrieren lässt.

Die kombinierte Lösung von Arcitecta und GRAU DATA geht diese Probleme direkt an, indem sie ein skalierbares, metadatenreiches und eng integriertes System bereitstellt, das für datenintensive akademische und Forschungsumgebungen optimiert ist.

Die Technische Universität Dresden hat sich für die integrierte Lösung von Arcitecta und GRAU DATA entschieden, um ihre hohen Anforderungen an ein effizientes, skalierbares und intelligentes Datenmanagement zu erfüllen. Durch die Kombination der Datenmanagement-Plattform Mediaflux von Arcitecta mit der Objektspeichersoftware XtreemStore von GRAU DATA profitiert die Universität von einem leistungsstarken System, das die Datenarchivierung auf Magnetbändern optimiert und gleichzeitig die Transparenz und den Zugriff auf archivierte Dateien gewährleistet.

Die integrierte Lösung ermöglicht die nahtlose Übertragung von Cold Data auf kostengünstige LTO-Bänder (Linear Tape Open) – einen hochkapazitiven, leistungsstarken Magnetbandspeicher – über die S3 Glacier-Schnittstelle. Dadurch werden die Speicherkosten gesenkt, ohne die Auffindbarkeit durch die robusten Metadatenverwaltungsfunktionen von Mediaflux zu beeinträchtigen. Dieser Ansatz ermöglicht es Forschern und Administratoren, einen globalen Überblick über ihre Daten über alle Speicherebenen hinweg zu behalten.

„Die Datenmanagement-Plattform von Mediaflux und die XtreemStore-Software bilden die ideale Kombination für Kunden, die sehr große Datenmengen auf verschiedenen Speicherplattformen verwalten und bereitstellen müssen“, sagte Herbert Grau, CEO von GRAU DATA. „Die Implementierung an der Technischen Universität Dresden zeigt den Wert unserer kombinierten Lösungen und könnte zu zukünftigen Projekten für Wiederverkäufer und Integratoren führen.“

„Arcitecta vertreibt die Mediaflux-Software weltweit über Wiederverkäufer und Integratoren. Mit XtreemStore verfügen diese Vertriebspartner nun auch über eine äußerst skalierbare und gut integrierte Lösung für die Datenarchivierung auf Magnetbändern“, so Frank Radefeldt, Vertriebsleiter EMEA bei Arcitecta mit Sitz in München. „Wir freuen uns auf die Zusammenarbeit mit GRAU DATA, um den hohen Mehrwert unserer integrierten Lösungen zu vermitteln und Unternehmen dabei zu unterstützen, ihre Datenverwaltung und -archivierung zu transformieren.“   Die integrierte Lösung von GRAU DATA und Arcitecta ist  über Wiederverkäufer und Integratoren erhältlich.

Audit-Funktionen und Nachhaltigkeitsaspekte

Ein oft übersehener Aspekt: MediaFlux sitzt im Datenpfad und kann jeden Zugriff protokollieren. Bei einem Kunden exportiert Arcitecta 70 Millionen Audit-Events pro Monat. „Das ermöglicht uns zu bestimmen, was die Form des Zugriffs in diesen Systemen ist“, erklärt Lohrey. Ein Kunde konnte aufgrund dieser Analysen feststellen, dass 18 Petabyte Replikationsdaten auf Tape wandern konnten und von weiteren 18 Petabyte Primary Storage waren 12 Petabyte inaktiv – mit Zugriffsprotokollen zurück bis 2012.

Nachhaltigkeit spielt zunehmend eine Rolle: „Wir können nicht einfach Rechenzentren bauen, wie wir sie bauen“, mahnt Lohrey. Man müsse Daten dorthin bringen, wo Energie günstig und Wasser verfügbar ist, nicht umgekehrt.

Partnerstrategie und Ausblick

Das Partnernetzwerk von Arcitecta hat in letzter Zeit deutlich an Stärke gewonnen. Dell hat einen Reseller-Vertrag unterzeichnet, der dem Unternehmen ermöglicht, Mediaflux direkt zu vertreiben. Noch vor 18 Monaten war IBM kein Thema – inzwischen nutzt IBM die S3-Implementierung von Arcitecta für die Diamondback-Bibliotheken.

Wasabi bleibt ein verlässlicher Partner, unterstützt weiterhin die DATAKAMER Veranstaltung und war an der Entwicklung der Vektor-Embedding-Integration beteiligt.

DATAKAMER 2025 war eine eintägige, nur auf Einladung zugängliche Zusammenkunft von Technologen, Forschern, Archivaren und Systementwicklern, die sich mit Datensystemen und -architekturen befassten, die neue Erkenntnisse fördern, sowie mit den wachsenden Herausforderungen und kritischen Anforderungen bei der Verwaltung von Forschungsdaten in großem Maßstab. Forschungseinrichtungen haben mit der Duplizierung von Dateien in verschiedenen Labors, Inkonsistenzen bei der Verwendung von Metadaten, Budgetdruck aufgrund des exponentiellen Datenwachstums und vielem mehr zu kämpfen. Eine nachhaltige Infrastruktur, von der Stromversorgung über die Kühlung bis hin zur Lebensdauer der Medien, ist nicht nur ein IT-Anliegen, sondern eine wissenschaftliche Notwendigkeit.

„Das Ziel der Veranstaltung war es, eine Community rund um Ansätze zum Forschungsdatenmanagement aufzubauen, damit Institutionen bewährte Verfahren austauschen und Datenherausforderungen lösen können“, sagte Jason Lohrey, CEO und Gründer von Arcitecta. „Letztendlich erfordert die Aufrechterhaltung der Wissenschaft Zusammenarbeit, intelligentere Infrastrukturentscheidungen und Tools, die die Sichtbarkeit verbessern, Verschwendung reduzieren und es Forschern ermöglichen, sich auf Entdeckungen zu konzentrieren, anstatt sich mit Daten zu herumzuschlagen.“

Mit Spectra Logic hat Arcitecta die erste Cube-Lösung verkauft. Und das Unternehmen sucht weitere Partner und Reseller.

Wachstumspfad

Mit rund 50 Mitarbeitern in Australien und Europa wächst Arcitecta konservativ. Der neue COO Rob Mullard kommt von HPE, Cray, SGI und DDN und soll das Geschäft in den USA, Europa und Asien ausbauen. Für die kommenden sechs Monate plant das Unternehmen Produkterweiterungen, darunter ein Python-Modul, Upgrades der DAMS-Plattform und eine Expansion der Vektor-Datenbank-Funktionen.

Arcitectas Pitch ist klar: „Die letzte Datenmanagement-Plattform, die Sie jemals brauchen werden.“ Für Organisationen mit Petabyte-großen Datenbeständen und komplexen, verteilten Workflows könnte das eine valide Aussage sein.

Own database as foundation

„We’re probably the only company that has a database at the core of a filesystem,“ explains CEO and founder Jason Lohrey. This refers to XODB, an object database that Arcitecta has been developing since 2010. It is extremely lean and yet powerful enough to manage billions of files.

Since this year, XODB also supports vector embeddings for AI applications. „It’s not our job to produce these vectors, but we organize them,“ emphasizes Lohrey. MediaFlux thus acts as an orchestrator between different AI services – from facial recognition to OCR to object recognition.

Vendor-agnostic as a sales argument

MediaFlux virtualizes storage from different manufacturers and generations on a unified platform. „Wherever the computing power goes, the data follows,“ summarizes Eric Polet, Director of Product Marketing, the concept. The platform runs on any storage hardware: from NetApp to Dell ECS to cloud object stores and tape systems.

The company develops most of its technology itself. The advantage: a minimal attack surface for cyberattacks and full control over the platform. „That gives us a very good understanding of how things work,“ explains Lohrey.

Real-time collaboration for media workflows

At NAB 2025 in Las Vegas, Arcitecta presented MediaFlux Realtime – a system that enables real-time editing over long distances. „If someone at position A writes a film, someone at position B can read the film while it’s being written,“ describes Lohrey the functionality. For broadcasters and media companies, this is a „game changer,“ as editors can work on live material without having to wait for the complete upload.

The solution reaches up to 95 percent of the available line speed and works storage-agnostically with different technologies.

Reference customers from research and GLAM sector

Princeton University uses MediaFlux for TigerData, a system that currently manages nearly 500 million assets and 200 petabytes of research data. The special challenge: a 100-year data management plan. „How many technology refreshes will there be in 100 years?“ asks Lohrey.

The Dana-Farber Cancer Institute (DFCI) also relies on the platform, as does the Technical University of Dresden, which has implemented an automated archiving solution from disk to tape using MediaFlux. The result: 40 percent less manual work, 50 percent faster asset search.

The Imperial War Museums in Duxford and London use a digital asset management platform developed by Arcitecta. „The GLAM sector is a neglected market for technology innovation,“ notes Polet. Nevertheless, these institutions have enormous amounts of data – both analog and digital.

Partnership with GRAU DATA for TU Dresden

GRAU DATA, a specialist in data archiving, data protection, and metadata-driven data search from Schwäbisch Gmünd, and Arcitecta have integrated their respective solutions to support companies in managing large amounts of data across multiple storage platforms more strategically and efficiently. The two companies were recently selected by the Technical University of Dresden to implement the combination of Arcitecta’s Mediaflux data management platform and GRAU DATA’s XtreemStore object storage software to optimize data archiving on magnetic tapes.

Research institutions face several challenges in managing and utilizing their growing data volumes. Huge amounts of data distributed across multiple storage platforms lead to limited transparency and inefficient archiving processes. Classifying, searching, and accessing data can be difficult – especially for rarely used or archived files. Without a centralized system, institutions often have to struggle with fragmented and isolated tools. Furthermore, new technologies require a more modern, cost-effective method for long-term storage that can be integrated into interfaces like S3 Glacier.

The combined solution from Arcitecta and GRAU DATA addresses these problems directly by providing a scalable, metadata-rich, and tightly integrated system optimized for data-intensive academic and research environments.

The Technical University of Dresden has chosen the integrated solution from Arcitecta and GRAU DATA to meet its high demands for efficient, scalable, and intelligent data management. By combining Arcitecta’s Mediaflux data management platform with GRAU DATA’s XtreemStore object storage software, the university benefits from a high-performance system that optimizes data archiving on magnetic tapes while ensuring transparency and access to archived files.

The integrated solution enables seamless transfer of cold data to cost-effective LTO tapes (Linear Tape Open) – a high-capacity, high-performance magnetic tape storage – via the S3 Glacier interface. This reduces storage costs without compromising findability through Mediaflux’s robust metadata management functions. This approach allows researchers and administrators to maintain a global overview of their data across all storage levels.

„The Mediaflux data management platform and XtreemStore software form the ideal combination for customers who need to manage and provide very large amounts of data on different storage platforms,“ said Herbert Grau, CEO of GRAU DATA. „The implementation at the Technical University of Dresden demonstrates the value of our combined solutions and could lead to future projects for resellers and integrators.“

„Arcitecta distributes the Mediaflux software worldwide through resellers and integrators. With XtreemStore, these distribution partners now also have a highly scalable and well-integrated solution for data archiving on magnetic tapes,“ said Frank Radefeldt, Sales Director EMEA at Arcitecta, based in Munich. „We look forward to working with GRAU DATA to convey the high value of our integrated solutions and support companies in transforming their data management and archiving.“

The integrated solution from GRAU DATA and Arcitecta is available through resellers and integrators.

Audit functions and sustainability aspects

An often overlooked aspect: MediaFlux sits in the data path and can log every access. At one customer, Arcitecta exports 70 million audit events per month. „This allows us to determine what the form of access is in these systems,“ explains Lohrey. A customer was able to determine through these analyses that 18 petabytes of replication data could be moved to tape and that of the remaining 18 petabytes of primary storage, 12 petabytes were inactive – with access logs dating back to 2012.

Sustainability is playing an increasingly important role: „We can’t just build data centers like we used to,“ warns Lohrey. You have to bring data to where energy is cheap and water is available, not the other way around.

Partner strategy and outlook

Arcitecta’s partner network has gained significant strength in recent times. Dell has signed a reseller agreement that allows the company to distribute Mediaflux directly. Just 18 months ago, IBM was not a topic – now IBM uses Arcitecta’s S3 implementation for the Diamondback libraries.

Wasabi remains a reliable partner, continues to support the DATAKAMER event, and was involved in the development of the vector embedding integration.

DATAKAMER 2025 was a one-day, invitation-only gathering of technologists, researchers, archivists, and system developers dealing with data systems and architectures that promote new insights, as well as the growing challenges and critical requirements for managing research data on a large scale. Research institutions have to contend with duplicating files in different labs, inconsistencies in metadata usage, budget pressure due to exponential data growth, and much more. A sustainable infrastructure, from power supply to cooling to media lifespan, is not just an IT concern, but a scientific necessity.

„The goal of the event was to build a community around approaches to research data management, so that institutions can exchange best practices and solve data challenges,“ said Jason Lohrey, CEO and founder of Arcitecta. „Ultimately, maintaining science requires collaboration, smarter infrastructure decisions, and tools that improve visibility, reduce waste, and enable researchers to focus on discoveries rather than dealing with data.“

With Spectra Logic, Arcitecta has sold its first Cube solution. And the company is looking for more partners and resellers.

Growth path

With around 50 employees in Australia and Europe, Arcitecta is growing conservatively. The new COO Rob Mullard comes from HPE, Cray, SGI, and DDN and is expected to expand the business in the USA, Europe, and Asia. For the next six months, the company plans product extensions, including a Python module, upgrades to the DAMS platform, and an expansion of vector database functions.

Arcitecta’s pitch is clear: „The last data management platform you’ll ever need.“ For organizations with petabyte-sized data sets and complex, distributed workflows, this may be a valid statement.