Nachhaltige Datenspeicherung – Sustainable data storage

Nachhaltige Datenspeicherung: Leichter gesagt als getan.

Viele Unternehmen suchen nach Möglichkeiten, ihre Daten nachhaltiger zu speichern. Doch das ist leichter gesagt als getan, denn Datenspeicherung ist äußerst komplex. Der Hauptgrund für diese Komplexität ist die schier unvorstellbare Menge an neu generierten Daten. Der größte Teil davon, rund 90 Prozent, sind unstrukturierte Daten. Hinzu kommt, dass Unternehmen praktisch jedes Bit der jemals erzeugten Daten gespeichert haben und ihre Speicherinfrastruktur kontinuierlich angepasst haben. Dementsprechend ist die Speicherinfrastruktur in den meisten Unternehmen ein Flickenteppich aus verschiedenen Speichergenerationen, Hardwareanbietern und Speichertechnologien, der immer vernetzter und komplexer wird.

Das Management unstrukturierter Daten hat viele Variablen.
Viele dieser heterogenen Speicherinfrastrukturen sind über Jahrzehnte gewachsen. Zu den oft zahlreichen physischen Speichern im Rechenzentrum kommen oft mehrere Datenspeicher für zahlreiche Anwendungsfälle in unterschiedlichen Clouds. Solche Speicherumgebungen sind weit verbreitet und die betreibenden Organisationen stehen kontinuierlich vor der Aufgabe, die ideale Mischung ihres Speicherbedarfs zu finden. Dabei spielte Nachhaltigkeit bisher oft eine untergeordnete Rolle. Vielmehr kam es in den meisten Organisationen darauf an, den Nutzern der Daten die richtigen Daten, am richtigen Ort, zur richtigen Zeit verfügbar zu machen. Und das gilt auch weiterhin. Nachhaltigkeit ist nun jedoch eine weitere wichtige Variable, die in die Gleichung dieses „Sweet Spot“ einbezogen werden muss.

Datenverfügbarkeit wird immer wichtiger.
Viele dieser Daten sind heute in einer Vielzahl von Anwendungsfällen geschäftskritisch, etwa beim Training von KI-Modellen. Das bedeutet, dass die Daten nicht einfach wie früher in ein günstiges Archiv verschoben werden können, sondern nutzbar bleiben müssen. Infolgedessen hat sich ein neues Paradigma herausgebildet, bei dem Daten kontinuierlich zwischen Systemen ausgetauscht werden müssen, um den Geschäftsbetrieb aufrechtzuerhalten. So können beispielsweise die Trainingsdaten eines KI-Modells nicht wie früher einfach tief in ein Langzeit-Archiv verschoben werden, von wo es lange Zeit dauert, die Daten wieder auf einen aktiven Primärspeicher zu verschieben. Entwickler verlangen, dass die Daten im Prinzip immer verfügbar sein müssen, um das Modell weiter zu trainieren, zu verbessern und mit neuen Funktionen zu versehen. Diese neuen Herausforderungen verlangen ein deutlich dynamischeres Management unstrukturierter Daten, als es bisher der Fall war.

Überblick über die CO₂-Bilanz unstrukturierter Daten.
Die Infrastruktur und das Management unstrukturierter Daten sind Paradebeispiele dafür, welchen Einfluss Nachhaltigkeit auf die genutzte Technologie haben kann. Vergleicht man, wie viel Energie unterschiedliche Speicher verbrauchen, sieht man, dass es beim Energieverbrauch eine große Spanne gibt: Flashspeicher verbraucht weniger als Festplatten und Cloud-Speicher ist aufgrund der Skalierung und dem Ort der Cloud-Rechenzentren meist deutlich effizienter als On-premises. Das Verständnis darüber, wie viel Energie welcher Speicherort und Typ verbraucht, hilft Unternehmen dabei, die geeignete Speicherung für jeden Datentyp zu bestimmen und so Energie und CO₂ einzusparen. Um dies zu erreichen, sollten Unternehmen in der Lage sein, ihre wichtigsten Indikatoren zu überwachen und geeignete Maßnahmen zu ergreifen. Das aktive Management unstrukturierter Daten ermöglicht Unternehmen die CO₂-Bilanzierung von unstrukturierten Datenspeichern in der Cloud und im Rechenzentrum.

Maßnahmen für nachhaltigere Datenspeicherung.
Mit einem klaren Überblick über die CO₂-Bilanz des Unternehmens können IT-Verantwortliche beispielsweise erkennen, welche unstrukturierten Daten in die Cloud verlagert werden sollten und welche Maßnahmen zur Optimierung des Rechenzentrums ergriffen werden müssen. Zu diesen Maßnahmen gehören beispielsweise das Löschen redundanter, veralteter und trivialer Daten (ROT) oder die Verlagerung von Daten in die Cloud auf weniger umweltbelastende Speicher. Oder die Konsolidierung, Wiederverwendung oder Stilllegung von Hardware. So können veraltete und ineffiziente Speicher identifiziert und außer Betrieb genommen werden, indem Daten auf ungenutzten Speicherplatz migriert werden. Auch kann die Anschaffung doppelter Backup-Hardware in jeder Zweigstelle vermieden und stattdessen ein Backup im Hauptrechenzentrum durchgeführt werden.

Fazit: Plattformen für das Management unstrukturierter Daten verbessern die Nachhaltigkeit.
Der Klimawandel ist für Führungskräfte in der Wirtschaft nicht mehr nur eine ferne Bedrohung. Aus gutem Grund steht Nachhaltigkeit heute ganz oben auf der Agenda fast aller großen Unternehmen. Der erste und wichtigste Schritt, Daten nachhaltiger zu speichern, ist das aktive und planvolle Management unstrukturierter Daten. Ohne ein angemessenes Management dieser Daten werden Unternehmen mit einer Reihe kritischer Probleme konfrontiert, einschließlich ihrer Fähigkeit, Nachhaltigkeitsrichtlinien einzuhalten. Hierfür benötigen Unternehmen vor allem zwei Dinge: Erstens, genaue Einsicht in die CO₂-Bilanz ihrer gespeicherten Daten und Tools, um die Daten so zu verwalten, dass die Daten im optimalen Ort gespeichert sind. Hierfür eignen sich moderne, herstellerneutrale Multi-Vendor- und Multi-Cloud-Plattformen für das Management unstrukturierter Daten.

Sustainable data storage is easier said than done

Many companies are looking for ways to store their data more sustainably. But this is easier said than done because data storage is extremely complex. The main reason for this complexity is the sheer volume of new data being created. The majority of this data, approximately 90 percent, is unstructured. In addition, organizations have stored virtually every bit of data ever created and have continually adapted their storage infrastructure. As a result, most organizations have a patchwork of storage generations, hardware vendors, and storage technologies that are becoming increasingly interconnected and complex.

Many variables in managing unstructured data

Many of these heterogeneous storage infrastructures have grown over decades. In addition to the often numerous physical storage units in the data center, there are often multiple data storage units for numerous use cases in different clouds. Such storage environments are common, and the organizations that operate them are constantly challenged to find the ideal mix for their storage needs. Until now, sustainability has often been an afterthought. Most organizations have been more concerned with getting the right data to users in the right place at the right time. And that is still true.

However, sustainability is now another important variable that needs to be factored into the sweet spot equation.

The availability of data is increasingly important

Much of this data is now mission-critical in a variety of use cases, such as training AI models. This means that data cannot simply be moved to an inexpensive archive as in the past, but must remain usable. As a result, a new paradigm has emerged in which data must be continuously exchanged between systems to maintain business operations. For example, the training data for an AI model can no longer simply be moved deep into a long-term archive, from where it takes a long time to move the data back to active primary storage. Developers need the data to be available at all times to continue training the model, improving it, and adding new features. These new challenges require a much more dynamic management of unstructured data than was previously the case.

Overview of the CO₂ footprint of unstructured data

The infrastructure and management of unstructured data is a prime example of the impact that sustainability can have on the technology used. When comparing the energy consumption of different storage systems, there is a wide range of energy consumption: Flash storage uses less than hard drives, and cloud storage tends to be much more efficient than on-premises due to the scale and location of cloud data centers. Understanding how much energy each storage location and type consumes can help organizations determine the appropriate storage for each type of data, saving energy and carbon. To achieve this, organizations should be able to monitor their key metrics and take appropriate action. Active management of unstructured data enables organizations to offset the carbon footprint of storing unstructured data in the cloud and in the data center.

Take steps to make data storage more sustainable

With a clear view of the company’s carbon footprint, IT managers can determine which unstructured data should be moved to the cloud and what actions need to be taken to optimize the data center. These actions can include deleting redundant, obsolete, and trivial (ROT) data, or moving data to the cloud for more environmentally friendly storage. Or consolidating, repurposing or decommissioning hardware. Obsolete and inefficient storage can be identified and decommissioned by migrating data to unused storage space. It is also possible to avoid purchasing duplicate backup hardware at each branch office and instead perform a backup at the main data center.

The bottom line: Unstructured data management platforms improve sustainability

Climate change is no longer a distant threat to business leaders. For good reason, sustainability is now at the top of the agenda for almost every major company. The first and most important step toward more sustainable data storage is the active and planned management of unstructured data. Without proper management of this data, organizations will face a number of critical issues, including their ability to comply with sustainability policies. To do this, organizations need two things: accurate visibility into the carbon footprint of their stored data and tools to manage the data so it is stored in the optimal location. Modern, vendor-neutral, multi-vendor, multi-cloud unstructured data management platforms are the answer.