Quanten- und DNA-Storage sowie das stetige Wachstum der Datenmenge sind kommende Entwicklungen im Bereich Datenspeicherung (English Version below).

Autor: Stefan KäserSolution Architect bei DoubleCloud

Es ist vielleicht überraschend, dass eine Datenspeicherkrise bevorsteht. Aber wenn wir weiterhin so viele Daten erzeugen wie bisher, werden wir keinen Platz mehr haben, um sie zu speichern. Die Speicherung so vieler Daten im gleichen Format wie bisher wird einfach zu teuer oder zu ressourcenintensiv sein, um sie auf sinnvolle Weise zu verarbeiten.

Von der gesamten Energie, die weltweit auf den Betrieb von Technik entfällt, entfallen derzeit etwa 20 Prozent auf Rechenzentren. Ein einziges Rechenzentrum kann an einem Tag mehr Energie verbrauchen als eine Stadt in einem Industrieland. Zudem ist es eindeutig nicht nachhaltig, 112 Fotos von einer zufälligen Partynacht zu speichern, die jemand vor sechs Jahren erlebt hatte.

Was ist der aktuelle Stand der Datenspeichertechnologie?

Haben wir überhaupt eine Alternative? Nun, eigentlich ja, denn einige sehr kluge Leute arbeiten an Lösungen für dieses Problem. Natürlich ist der Versuch, die Zukunft zu erraten, nie eine exakte Wissenschaft, aber das bedeutet nicht, dass wir nicht bestimmte weitreichende Trends betrachten können, die sich auf Rechenzentren und den Datensektor als Ganzes auswirken, um einige fundierte Vermutungen über die Zukunft der Datenspeicherung anzustellen.

Es gibt vier sehr unterschiedliche, aber alle gleich wichtige Faktoren, die derzeit die Entwicklung der Datenspeicherung vorantreiben.

  • Kosten
  • Kapazität
  • Schnittstellengeschwindigkeiten
  • Dichte

Jede aktuelle (oder zukünftige) Speicherlösung versucht, allen vier Faktoren mit unterschiedlichem Erfolg gerecht zu werden.

I. Klassische Festplattenlaufwerke

Festplatten werden in absehbarer Zeit nicht verschwinden. Jüngsten Prognosen zufolge werden bis 2024 etwa 54 Prozent aller Daten auf Festplatten gespeichert sein. Das ist zwar ein deutlicher Rückgang gegenüber dem Marktanteil von 65 Prozent im Jahr 2019, aber, wenn man es als Teil einer Umstellung auf die ständig wachsende Datenmenge betrachtet, ist es tatsächlich viel sinnvoller. Dennoch sind viele Experten der Meinung, dass Flash die Vorherrschaft der HDD zumindest in kleineren Rechenzentren beenden könnte und stattdessen auf ein Hybrid-/Flash-/Cloud-Modell umgestellt wird – wir müssen also abwarten, was die Zukunft für die Festplatte bereithält.

II. SDDs 

Der SSD-Speichersektor wird wahrscheinlich weiterhin stetig wachsen, da die Technologie hinter den Schnittstellen immer besser wird. Derzeit werden Quad-Level-Zellen (Quadruple-Level Cells, QLC) als eine weitere Ebene in der Datenspeicherhierarchie weithin angenommen, da sie mehr Kapazität zu viel niedrigeren Kosten bieten. Es ist aber wahrscheinlich, dass die QLC-Technologie in den nächsten paar Jahren bereits Penta-Level-Zellen (Penta-Level Cells, PLC) weichen wird.

III. Multi-Cloud-Speicher

Viele Rechenzentren stellen bereits fest, dass ihre Kunden immer vorsichtiger werden, wenn es darum geht, alle ihre Daten an einem Ort zu speichern. So wie man nie alles auf eine Karte setzen sollte, suchen viele, die sich um Datenredundanz, Backups und Disaster Recovery sorgen, nach Multi-Cloud-Lösungen. Bei der Erstellung eines Backups für die Daten ist es sinnvoll, diese auf separaten, möglichst isolierten Systemen zu speichern, was mit Multi-Cloud-Lösungen derzeit sehr gut gelingt.

Die Zukunft der Datenspeicherung

Solange es keinen Trend zur Entsorgung redundanter Daten gibt, muss etwas geschehen. Die Alternative besteht darin, effizientere Speicherarten zu entwickeln: Speicher, die exponentiell mehr Daten zu viel niedrigeren Kosten verarbeiten können und den Nutzern dennoch einen fast sofortigen Zugriff darauf ermöglichen. Glücklicherweise wird bereits an diesen Methoden geforscht, und auch wenn sie noch nicht ganz ausgereift sind, könnte es schon bald soweit sein.

I. Kalte Speicherung

Cold Storage, die Speicherung von Daten bei extrem niedrigen Temperaturen, wird derzeit als interessante Speichermöglichkeit untersucht. Forscher an der Universität Manchester haben Moleküle entwickelt, die Daten mit der hundertfachen Kapazität einer herkömmlichen Festplatte speichern können. Die Idee, Daten bei niedrigen Temperaturen zu speichern, ist nicht neu, die Wissenschaft dahinter ist schon seit einiger Zeit bekannt. Das Neue an dieser Forschung ist jedoch, wie niedrig die Temperaturen dank der Widerstandsfähigkeit dieser neuen Moleküle werden. Sie sind in der Lage, Daten bei 80 Kelvin (- 193,15 Grad) zu speichern, wobei die Verwendung von flüssigem Stickstoff bedeutet, dass mehr Daten gespeichert werden können, ohne dass es zu Problemen mit der Wärmeverschiebung kommt. Da die Erdatmosphäre zu etwa 78 Prozent aus Stickstoff besteht, ist dies auch eine relativ kostengünstige Lösung.

II. Optische 5D-Speicherung

Anstelle der Kältespeicherung haben Forscher der Universität Southampton Methoden zur Datenspeicherung erforscht, bei denen die Daten mit modernen Lasern in Siliziumwürfel geätzt werden. Bei dieser neuen Technik können die Forscher zusätzlich zu den normalen drei Achsen, die als Speicherparameter verwendet werden, auch die Größe eines aufgezeichneten Datensatzes und seine Ausrichtung nutzen.

Man kann sich das als eine Art 3D-Version einer CD vorstellen, bei der die Geräte die Daten direkt aus dem Würfel lesen. Der Vorteil dieser Methode besteht darin, dass alles, was auf diese Weise gespeichert wird, sehr lange gespeichert werden kann, wobei alles, was geätzt wird, fast dauerhaft wird. Wenn die Daten einmal gespeichert sind, ist kein Strom mehr erforderlich, um sie aufzubewahren (nur noch zum Lesen), und die entstehenden Glaswürfel sind praktisch unzerstörbar, wobei ein kleiner Würfel Hunderte von Terabytes an Daten speichern kann.

III. Quantenspeicher

Es wäre nachlässig, die Zukunft der Datenspeicherung zu erörtern, ohne zumindest Quantencomputer und Quantenspeicher zu erwähnen. In der Welt der Informatik, der Daten und der Welt im Allgemeinen wird viel über das Potenzial der Quanteninformatik gesprochen.

Qubits in der Quantendatenspeicherung sind in der Lage, durch Überlagerung und Verschränkung eine exponentielle Anzahl von Zuständen zu speichern. n-Qubits sind vergleichbar mit 2n Bits oder, um es für alle, die mit dem Jargon der Quanteninformatik nicht vertraut sind, etwas verständlicher auszudrücken: 100 Qubits wären mehr als genug, um mehr Zustände zu speichern als alle derzeit existierenden Festplatten. 300 Qubits könnten mehr Zustände speichern als die Anzahl der Atome im Universum.

Leider sind wir noch weit davon entfernt, die drohende Datenkrise mit Quantencomputern zu lösen. Das Hauptproblem der Quanteninformatik besteht darin, dass die Datenmenge, die aus n-Qubits abgerufen werden kann, niemals größer sein kann als die Datenmenge, die aus n-Bits abgerufen werden kann. Dies bedeutet, dass die meisten Daten, die auf Quantenebene gespeichert werden, niemals abgerufen werden können – ein Problem, das noch nicht gelöst wurde. Möglicherweise bedeutet dieses Hindernis, dass die Quanteninformatik zwar die Zukunft ist, die Quantenspeicherung jedoch nicht.

IV. DNA-Speicherung

Viele Wissenschaftler haben sich in den letzten zehn Jahren für die Idee begeistert, DNA Storage zu verwenden. Die Idee ist gar nicht so weit hergeholt. Die DNS besteht aus Aminosäuren mit Basenpaaren, die, wenn sie richtig modelliert sind, einen binären Code darstellen können, was sie ideal für die Speicherung von Daten macht, während die gewundene Struktur der DNS eine enorme Speicherkapazität auf kleinstem Raum ermöglicht.

Einem Team in Harvard ist es sogar gelungen, den gesamten Code für ein Video auf einem einzigen Strang bakterieller DNA zu speichern. Seitdem arbeiten mehrere Unternehmen daran, diese Technologie zu perfektionieren und dann zu vermarkten. Derzeit geht man davon aus, dass synthetische DNA die Antwort sein könnte, wobei die Daten auf ein Molekül geschrieben werden, während es zusammengesetzt wird. Wie bei dem bereits erwähnten optischen 5D-Speicher aus geätztem Glas könnte sich dies als Langzeitspeicherlösung erweisen, aber ganz so weit ist die Sache noch nicht.

V. Hybrid-Cloud-Speicherung

Hybrid-Cloud-Speicherung mag zwar nicht so futuristisch, Science-Fiction-mäßig oder interessant erscheinen wie einige der bisher genannten Lösungen. Sie erobert aber derzeit den Datenspeichersektor und bietet eine echte Lösung für viele Datenspeicherprobleme. Die Hybridspeicherung ist, wie der Name schon sagt, ein Ansatz zur Datenspeicherung, der sowohl Cloud- als auch On-Premises-Lösungen nutzt und das Beste aus beiden in einer zusammenhängenden Speicherarchitektur kombiniert.

Dieser Ansatz senkt die Kosten für Unternehmen, indem er einen Teil der Kosten für das Hinzufügen und die Wartung von lokalem Speicher in die Cloud verlagert und die Cloud nur dann nutzt, wenn sie benötigt wird. Es handelt sich außerdem um eine der skalierbarsten Lösungen, die derzeit angeboten werden, da sie das Beste aus Cloud- und On-Premises-Infrastrukturen bietet. Die On-Premises-Infrastruktur dient dann für langfristige, selten genutzte Daten, während die Cloud für häufiger genutzte Daten oder unerwartete Nachfragespitzen ausgelegt werden kann.

Eines der Probleme, die oft mit hybrider Speicherung aufgeworfen werden, ist, dass sie bei falscher Architektur sowohl teuer als auch langsam sein kann und Geld kostet, sowohl für die Hardware vor Ort als auch für unerwartete Cloud-Kosten.

Eine Lösung bietet hier beispielsweise DoubleCloud, um Datenanalysen mit SSD-Speichergeschwindigkeiten aufzubauen und trotzdem das S3-Preisniveau beizubehalten. Mit der verwalteten ClickHouse-Plattform können Unternehmen sogar mehr als das Fünffache an Kosten einsparen, indem sie ihre neuesten oder am häufigsten genutzten Daten automatisch direkt auf SSD auslagern, während die weniger häufig genutzten Daten automatisch auf S3 umgelagert werden. Ansätze wie dieser tragen dazu bei, dass Problem der Datenspeicherung auf kosteneffiziente Weise dauerhaft in den Griff zu bekommen.

English Version

 Data storage in the cloud age

 Quantum and DNA storage as well as the continuous growth of data volumes are upcoming developments in the field of data storage.

 Author: Stefan Käser, Solution Architect at DoubleCloud

It’s perhaps surprising that a data storage crisis is imminent. But if we continue to generate as much data as we do now, we will run out of space to store it. Storing as much data in the same format as we do now will simply be too expensive or too resource intensive to process in any meaningful way.

Of all the energy used to run technology worldwide, data centers currently account for about 20 percent. A single data center can consume more energy in a day than a city in an industrialized country. In addition, storing 112 photos from a random night of partying someone had six years ago is clearly not sustainable.

What is the current state of data storage technology?

Do we even have an alternative? Well, actually yes, because some very smart people are working on solutions to this problem. Of course, trying to guess the future is never an exact science, but that doesn’t mean we can’t look at certain broad trends impacting data centers and the data sector as a whole to make some educated guesses about the future of data storage.

There are four very different, but all equally important, factors that are currently driving the evolution of data storage.

– Cost

– Capacity

– Interface speeds

– Density

Every current (or future) storage solution attempts to address all four factors with varying degrees of success.

I. classic hard disk drives

Hard drives aren’t going away anytime soon. According to recent projections, about 54 percent of all data will be stored on hard drives by 2024. While that’s a significant drop from the 65 percent market share in 2019, if you think about it as part of a transition to ever-growing data, it actually makes a lot more sense. Still, many experts believe that flash could end HDD dominance, at least in smaller data centers, and instead move to a hybrid/flash/cloud model – so we’ll have to wait and see what the future holds for HDD.

II. SDDs

The SSD storage sector will likely continue to grow steadily as the technology behind the interfaces improves. Currently, quadruple-level cells (QLCs) are widely adopted as another level in the data storage hierarchy, offering more capacity at a much lower cost. However, it is likely that QLC technology will already give way to Penta-Level Cells (PLCs) in the next few years.

III. multi-cloud storage

Many data centers are already finding that their customers are becoming more cautious about storing all their data in one place. Just as you should never put all your eggs in one basket, many who are concerned about data redundancy, backups and disaster recovery are looking to multi-cloud solutions. When creating a backup for data, it makes sense to store it on separate systems that are as isolated as possible, which multi-cloud solutions currently do very well.

The future of data storage

Until there is a trend to dispose of redundant data, something has to be done. The alternative is to develop more efficient types of storage: storage that can handle exponentially more data at a much lower cost and still give users near-instant access to it. Fortunately, research is already underway on these methods, and while they’re not quite ready, they could be soon.

I. cold storage

Cold storage, the storage of data at extremely low temperatures, is currently being investigated as an interesting storage option. Researchers at the University of Manchester have developed molecules that can store data at hundreds of times the capacity of a conventional hard drive. The idea of storing data at low temperatures is not new; the science behind it has been known for some time. What’s new about this research, however, is how low temperatures become thanks to the resilience of these new molecules. They are able to store data at 80 Kelvin (- 193.15 degrees Celsius or – 315,67 degrees Fahrenheit), and the use of liquid nitrogen means that more data can be stored without heat-shift issues. Since about 78 percent of the Earth’s atmosphere is nitrogen, this is also a relatively inexpensive solution.

II. 5D optical storage

Instead of cold storage, researchers at the University of Southampton have been exploring methods of data storage that use advanced lasers to etch data into silicon cubes. With this new technique, researchers can use the size of a recorded data set and its orientation in addition to the normal three axes used as storage parameters.

You can think of it as a kind of 3D version of a CD, where the devices read the data directly from the cube. The advantage of this method is that anything stored in this way can be stored for a very long time, with anything etched becoming almost permanent. Once the data is stored, no electricity is required to keep it (only to read it), and the resulting glass cubes are virtually indestructible, with a small cube capable of storing hundreds of terabytes of data.

III. quantum memory

It would be remiss to discuss the future of data storage without at least mentioning quantum computing and quantum memory. In the world of computing, data, and the world in general, there is much talk about the potential of quantum computing.

Qubits in quantum data storage are capable of storing an exponential number of states through superposition and entanglement. n qubits are comparable to 2n bits, or to put it more plainly for those unfamiliar with the jargon of quantum computing, 100 qubits would be more than enough to store more states than all the hard drives currently in existence. 300 qubits could store more states than the number of atoms in the universe.

Unfortunately, we are still far from solving the looming data crisis with quantum computers. The main problem with quantum computing is that the amount of data that can be retrieved from n qubits can never be larger than the amount of data that can be retrieved from n bits. This means that most data stored at the quantum level can never be retrieved – a problem that has not yet been solved. It is possible that this obstacle means that while quantum computing is the future, quantum storage is not.

IV. DNA storage

Over the past decade, many scientists have become excited about the idea of using DNA as a data storage device. The idea is not that far-fetched. DNA is made up of amino acids with base pairs that, when modeled correctly, can represent a binary code, making it ideal for storing data, while DNA’s convoluted structure allows for enormous storage capacity in a tiny space.

A team at Harvard university has even managed to store the entire code for a video on a single strand of bacterial DNA. Since then, several companies have been working to perfect and then commercialize this technology. Currently, it is thought that synthetic DNA may be the answer, with data being written onto a molecule as it is assembled. As with the 5D etched glass optical storage mentioned earlier, this could prove to be a long-term storage solution, but things are not quite there yet.

V. hybrid cloud storage

Hybrid cloud storage may not seem as futuristic, sci-fi or interesting as some of the solutions mentioned so far. However, it is currently conquering the data storage sector and offers a real solution to many data storage problems. Hybrid storage, as the name suggests, is an approach to data storage that leverages both cloud and on-premises solutions, combining the best of both into a cohesive storage architecture.

This approach lowers costs for businesses by shifting some of the cost of adding and maintaining on-premises storage to the cloud and using the cloud only when needed. It is also one of the most scalable solutions currently available, offering the best of both cloud and on-premises infrastructures. The on-premises infrastructure is then used for long-term, infrequently used data, while the cloud can be designed for more frequently used data or unexpected spikes in demand.

One of the issues often raised with hybrid storage is that, if architected incorrectly, it can be both expensive and slow, costing money in both on-premises hardware and unexpected cloud costs.

A solution by DoubleCloud allows to build data analytics at SSD storage speeds while still maintaining S3 pricing. Using managed ClickHouse platform organizations can save more than five times the cost by automatically offloading their newest or most frequently used data directly to SSD, while automatically moving the less frequently used data to S3. Approaches like this help to permanently address the problem of data storage in a cost-effective manner.

 

 

Von Jakob Jung

Dr. Jakob Jung ist Chefredakteur Security Storage und Channel Germany. Er ist seit mehr als 20 Jahren im IT-Journalismus tätig. Zu seinen beruflichen Stationen gehören Computer Reseller News, Heise Resale, Informationweek, Techtarget (Storage und Datacenter) sowie ChannelBiz. Darüber hinaus ist er für zahlreiche IT-Publikationen freiberuflich tätig, darunter Computerwoche, Channelpartner, IT-Business, Storage-Insider und ZDnet. Seine Themenschwerpunkte sind Channel, Storage, Security, Datacenter, ERP und CRM. Dr. Jakob Jung is Editor-in-Chief of Security Storage and Channel Germany. He has been working in IT journalism for more than 20 years. His career includes Computer Reseller News, Heise Resale, Informationweek, Techtarget (storage and data center) and ChannelBiz. He also freelances for numerous IT publications, including Computerwoche, Channelpartner, IT-Business, Storage-Insider and ZDnet. His main topics are channel, storage, security, data center, ERP and CRM. Kontakt – Contact via Mail: jakob.jung@security-storage-und-channel-germany.de

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

WordPress Cookie Hinweis von Real Cookie Banner