Rechenzentren: Warum Flüssigkeitskühlung und KI die Zukunft bestimmen – Data centres: Why liquid cooling and AI are shaping the future

1. Welches sind Ihrer Erfahrung nach die häufigsten Missverständnisse in Bezug auf Flüssigkeitskühlung und Luftkühlung in Rechenzentren?

Die Leute haben oft die Vorstellung, dass Flüssigkeitskühlung instabil und teuer ist, während Luftkühlung ausgereift und kostengünstig ist. Tatsächlich ist das aber ein Irrtum. In Wirklichkeit wird die Flüssigkeitskühlung schon seit 1964 in „Supercomputing“-Zentren eingesetzt. Es handelt sich also um eine bewährte und risikoarme Technologie.  Zwar sind die Anfangsinvestitionen in Flüssigkeitskühlsysteme hoch, aber die langfristig niedrigeren Betriebskosten und die Energieeffizienz gleichen dies oft aus, und Installations- und Wartungskosten von Flüssigkeitskühlsystemen werden sich weiter verringern. Bei korrektem Betrieb und Wartung kann die Sicherheit von Flüssigkeitskühlsystemen voll gewährleistet werden.

Was die Luftkühlung betrifft, so sind die Anfangsinvestitionen zwar gering, aber die langfristigen Betriebskosten und die mangelnde Energieeffizienz müssen auch berücksichtigt werden. Darüber hinaus müssen Luftkühlsysteme regelmäßig gewartet und gepflegt werden, um ihren normalen Betrieb zu gewährleisten und ihre Lebensdauer zu verlängern.

2. Welche sind die größten Herausforderungen für luftgekühlte Rechenzentren im Hinblick auf Wärmemanagement und Effizienz?

Luftgekühlte Rechenzentren sind auf den Luftstrom angewiesen, um Wärme abzuführen. Mit zunehmender Leistungsdichte der Racks (wie in KI-Rechenzentren) wird das Luftstrommanagement jedoch immer komplexer. Außerdem sind luftgekühlte Rechenzentren anfällig für lokale Wärmepunkte, bei denen die Temperatur in bestimmten Bereichen oder Geräten viel höher ist als in anderen Bereichen, was die Leistung der Geräte beeinträchtigen oder sogar zu Ausfällen führen kann.

Die Effizienz luftgekühlter Rechenzentren ist in der Regel gering. Der PUE-Wert (Power Usage Effectiveness) liegt im Allgemeinen über 1,5, was die Gesamtenergieeffizienz des Rechenzentrums verringert und die Betriebskosten erhöht. Ein Luftkühlsystem muss regelmäßig gewartet werden, um den normalen Betrieb zu gewährleisten, z. B. durch Reinigen des Ventilators, Auswechseln des Filters usw., was Personal- und Materialressourcen verbraucht.

3. Welche Rolle spielt KI bei der Verwaltung und Optimierung des Betriebs von Rechenzentren?

Künstliche Intelligenz (KI) spielt hier eine wichtige Rolle. Sie verbessert etwa die Betriebseffizienz. KI kann die umfangreichen Nutzungsdaten eines Rechenzentrums analysieren, um potenzielle Probleme vorherzusagen und so die operative Effizienz zu verbessern sowie die Kosten zu senken. KI erlaubt es, den Betrieb und die Wartung von Rechenzentren zu automatisieren und etwa die Ressourcenzuweisung dynamisch an die Arbeitsauslastung anzupassen, um Ressourcen optimal zu nutzen und die Leistung von Rechenzentren zu optimieren, um komplexe Rechenaufgaben (Training und die Inferenzierung) zu unterstützen.

Zudem kann sie Sicherheitsbedrohungen erkennen und verhindern, indem sie den Netzwerkverkehr in Echtzeit überwacht und analysiert. Dies verringert auch die Möglichkeit menschlicher Fehler. Durch die Verbesserung der Energieeffizienz hilft KI den Rechenzentren, einen umweltfreundlicheren Betrieb zu erreichen, und sie bietet intelligente Entscheidungshilfe, die es Rechenzentrumsbetreibern erlauben, datenbasierte Entscheidungen bei der Erweiterung und Aufrüstung von Rechenzentren zu treffen.

Mit dem ständigen Aufkommen neuer Technologien und neuer Geschäftsfelder nehmen Komplexität und Umfang der IT-Infrastruktur rapide zu. Künstliche Intelligenz für den IT-Betrieb (Artificial Intelligence for IT Operations, AIOps) ermöglicht es Unternehmen, die physische Ausrüstung zu verwalten, die Geschäftskontinuität sicherzustellen, die Effizienz zu verbessern und die Kosten zu senken.

4. Welche einzigartigen Merkmale Ihrer neuesten Lösung(en) gehen speziell auf die Herausforderungen von KI-Anwendungen mit hoher Dichte im Vergleich zu herkömmlichen Rechenzentrumslösungen ein?

Die Flüssigkeitskühl- und Green-Computing-Lösungen von KAYTUS zeichnen sich durch Energieeffizienz, Zuverlässigkeit und schnelle Inbetriebnahme aus. Im Vergleich zu herkömmlichen Rechenzentrumslösungen, die zu 80 % mit Flüssigkeit und zu 20 % mit Luft gekühlt werden, verfügt KAYTUS über hochmoderne Kühlungskonzepte. Alle flüssigkeitsgekühlten Server verfügen über eine nahezu 100-prozentige kaltplatten-basierte Flüssigkeitskühlung (Cold Plate Liquid Cooling) der wärmeerzeugenden Komponenten, wie CPU, Hochleistungsspeicher, NVMe-Festplatte, OCP-Netzwerkkarte, Netzteil, PCIe-Adapterkarte und optisches Modul, und sind in der Lage, den PUE-Wert auf unter 1,05 zu senken.

Zudem bietet KATYUS ein verlässliches Überwachungssystem für flüssigkeitsgekühlte Rechenzentren mit Sensoren zur Überwachung von Flüssigkeitslecks an der Oberfläche von Kühlplattenknoten, an der Unterseite von Schränken und in der gesamten Rohrleitung des Rechenzentrums. Sobald ein Flüssigkeitsleck entdeckt wird, schaltet sich das System automatisch ab, um die Sicherheit der Geräte zu gewährleisten. Darüber hinaus verfügt KAYTUS über ein intelligentes Managementsystem mit visuellen Überwachungs- und Managementfunktionen, um die Kühlungseffizienz zu verbessern.

Ferner setzt KAYTUS auf vorgefertigte Containerbauteile und das modulare Design flüssigkeitsgekühlter Rechenzentren, um die Implementierung zu beschleunigen. So kann der Aufbau zügig abgeschlossen und die Bauzeit um mehr als 50 % verkürzt werden. Das gesamte Rohrsystem des vorgefertigten Kühlkreislaufs basiert auf BIM-Design, alle Ventile und Rohrverbindungen werden in der Fabrik vorgefertigt und können vor Ort angeschlossen werden. Ein weiteres Beispiel sind die luftgekühlten AI Compute Contanerized Cabinets (EVOLEEN-I5000s) von KAYTUS, die die die Aufbauzeit um 70 % reduzieren.

5. Welchem regulatorischen Druck sehen sich Unternehmen in Bezug auf den umweltfreundlichen Betrieb von Rechenzentren ausgesetzt, und wie wirkt sich dies auf die Designentscheidungen aus?

Große Datenmengen und eine hohe Rechenleistung führen zu einem starken Anstieg des Energieverbrauchs in Rechenzentren. Um die Energiekosten zu senken und die Nachhaltigkeitsziele zu erreichen, hat die Bundesregierung am 17. November 2023 das sogenannte Energieeffizienzgesetz in Kraft gesetzt. Betroffen sind alle Unternehmen, die Rechenzentren mit einer Nennanschlussleistung ab 300 Kilowatt[i] betreiben. Neue Rechenzentren dürfen ab Juli 2026 einen PUE-Wert von maximal 1,2 aufweisen, für bestehende Rechenzentren liegt der Zielwert bei maximal 1,3 (ab Juli 2030). Gleichzeitig verpflichtet die neueste EU-Energieeffizienzrichtlinie Rechenzentren mit einem IT-Strombedarf über 100 Kilowatt dazu, jedes Jahr einen Bericht über ihre Energieeffizienz zu veröffentlichen[ii].

Immer mehr Rechenzentrumsbetreiber setzen deshalb auf das Prinzip der Flüssigkeitskühlung, um eine nachhaltige Entwicklung zu erreichen. So bietet ein vollständig flüssigkeitsgekühlter Server eine umfassende Kühlung aller wärmeerzeugenden Komponenten und reduziert die PUE auf unter 1,05. Darüber hinaus können flüssigkeitsgekühlten Serverschränke, die die Klimatisierung mithilfe einer Hochtemperatur-Flüssigkeit durchführen, den jährlichen durchschnittlichen PUE-Wert auf unter 1,1 senken.

6. Welche Trends werden Ihrer Meinung nach die Entwicklung der Rechenzentrumstechnologien in den nächsten Jahren prägen?

Als Trends sehen wir das Aufkommen der künstlichen Intelligenz im Rechenzentrumsbetrieb. Künstliche Intelligenz wird für die Automatisierung verschiedener Rechenzentrumsabläufe wie Kapazitätsplanung, Ressourcenzuweisung und Fehlererkennung eingesetzt werden. Durch die Analyse großer Datenmengen von Sensoren und Systemen im Rechenzentrum können diese Technologien potenzielle Ausfälle vorhersagen und die Leistung der Rechenzentrumsinfrastruktur optimieren. Dies führt zu einem effizienteren Betrieb, geringeren Ausfallzeiten und niedrigeren Wartungskosten. Zudem werden KI-Workloads weiter zunehmen. Dies erfordert Hochleistungs-Computing-Systeme, GPU-beschleunigte Server sowie Speichersysteme mit hoher Bandbreite und geringer Latenz, um die riesigen Datenmengen und komplexen Berechnungen zu bewältigen, die mit KI-Training und -Inferenz verbunden sind.

Ein weiterer Trend ist ein verstärkter Fokus auf Nachhaltigkeit und Energieeffizienz. Mit der zunehmenden Leistungsdichte von KI-Rechenzentren wird die Kühlung zu einem entscheidenden Aspekt. Fortschrittliche Kühltechnologien wie die Flüssigkeitskühlung werden an Popularität gewinnen, weil sie effizient kühlen und gleichzeitig den Energieverbrauch im Vergleich zu herkömmlichen Klimatisierungssystemen senken. Darüber hinaus wird der Einsatz natürlicher Kühlmethoden, wie z. B. der freien Kühlung, weiter erforscht, um den Energieverbrauch zu minimieren.

[i] https://www.bitkom.org/sites/main/files/2024-01/bitkom-leitfaden-energieeffizienzgesetz-fuer-rechenzentren.pdf

[ii] https://kpmg.com/xx/en/home/insights/2022/10/renewable-energy-and-energy-efficiency-directives.html

1. In your experience, what common misconceptions exist about liquid cooling versus air cooling in data centers?

People often have the idea that liquid cooling is unstable and expensive, while air cooling is sophisticated and cost-effective. But this is actually a misconception. In reality, liquid cooling has been used in supercomputing centers since 1964. It is therefore a proven and low-risk technology. Although the initial investment in liquid cooling systems is high, the long-term lower operating costs and energy efficiency often compensate for this, and the installation and maintenance costs of liquid cooling systems will continue to decrease. With correct operation and maintenance, the safety of liquid cooling systems can be fully guaranteed.

As for air cooling, although the initial investment is low, the long-term operating costs and lack of energy efficiency must also be taken into account. In addition, air cooling systems must be regularly serviced and maintained to ensure their normal operation and extend their service life.

2. What are the primary challenges that air-cooled data centers face in terms of thermal management and efficiency?

Air-cooled data centers rely on airflow to dissipate heat. However, as rack power density increases (such as in AI data centers), airflow management becomes increasingly complex. In addition, air-cooled data centers are prone to local heat spots where the temperature in certain areas or equipment is much higher than in other areas, which can affect equipment performance or even lead to failures.

The efficiency of air-cooled data centers is usually low. The PUE (Power Usage Effectiveness) value is generally above 1.5, which reduces the overall energy efficiency of the data center and increases operating costs. An air-cooling system requires regular maintenance to ensure normal operation, such as cleaning the fan, replacing the filter, etc., which consumes human and material resources.

3. What role does AI play in the management and optimization of data center operations?

Artificial intelligence (AI) plays an important role here. It improves operational efficiency, for example. AI can analyze the extensive usage data of a data center to predict potential problems and thus improve operational efficiency and reduce costs. AI can automate data center operations and maintenance, such as dynamically adjusting resource allocation to workloads to make the best use of resources and optimize data center performance to support complex computing tasks (training and inferencing).

It can also detect and prevent security threats by monitoring and analyzing network traffic in real time. This not only improves efficiency, but also reduces the possibility of human error. By improving energy efficiency, AI helps data centers achieve greener operations and provides intelligent decision support that allows data center operators to make data-driven decisions when planning data center expansion and upgrades.

With the constant emergence of new technologies and new business areas, the complexity and scope of IT infrastructure is rapidly increasing. Artificial Intelligence for IT Operations (AIOps) enables organizations to manage physical equipment, ensure business continuity, improve efficiency and reduce costs.

4. What unique features of your latest solution(s) specifically address the challenges of high-density AI applications compared to traditional data center solutions?

The liquid cooling and green computing solutions from KAYTUS are characterized by energy efficiency, reliability and fast deployment. Compared to conventional data center solutions, which are cooled 80% with liquid and 20% with air, KAYTUS has state-of-the-art cooling concepts. All liquid-cooled servers feature almost 100% cold plate liquid cooling of the heat-generating components, such as CPU, high-power memory, NVMe hard disk, OCP network card, power supply, PCIe adapter card and optical module, and are able to reduce the PUE value to below 1.05.

In addition, KATYUS offers a reliable monitoring system for liquid-cooled data centers with sensors to monitor liquid leaks on the surface of cold plate nodes, on the underside of cabinets and throughout the data center piping. Once a liquid leak is detected, the system automatically shuts down to ensure the safety of the equipment. In addition, KAYTUS has an intelligent management system with visual monitoring and management functions to improve cooling efficiency.

KAYTUS also relies on prefabricated container components and the modular design of liquid-cooled data centers to speed up implementation. This means that the construction can be completed quickly, and the construction time reduced by more than 50 %. The entire pipe system of the prefabricated cooling circuit is based on BIM design, all valves and pipe connections are prefabricated in the factory and can be connected on site. Another example is KAYTUS air-cooled AI Compute Contanerized Cabinet (EVOLEEN-I5000s), which reduces the construction time by 70 %.

5. What regulatory pressures are companies facing regarding environmentally friendly data center operations, and how do these impact design choices?

Large amounts of data and high computing power lead to a sharp increase in energy consumption in data centers. In order to reduce energy costs and achieve sustainability goals, the German government enacted the Energy Efficiency Act on November 17, 2023. This affects all companies that operate data centers with a nominal connected load of 300 kilowatts or more[i]. From July 2026, new data centers may have a maximum PUE value of 1.2; for existing data centers, the target value is a maximum of 1.3 (from July 2030). At the same time, the latest EU Energy Efficiency Directive requires data centers with an IT power consumption of over 100 kilowatts to publish an annual report on their energy efficiency[ii].

More and more data center operators are therefore turning to the principle of liquid cooling in order to achieve sustainable development. For example, a fully liquid-cooled server provides comprehensive cooling of all heat-generating components and reduces the power usage effectiveness (PUE) to below 1.05. In addition, liquid-cooled server racks that use a high-temperature liquid for air conditioning can reduce the annual average PUE value to below 1.1.

6. Looking ahead, what trends do you anticipate that will shape the development of data center technologies in the next few years?

We see the emergence of artificial intelligence in data center operations as a trend. Artificial intelligence will be used to automate various data center operations such as capacity planning, resource allocation and fault detection. By analyzing large amounts of data from sensors and systems in the data center, these technologies can predict potential failures and optimize the performance of the data center infrastructure. This leads to more efficient operations, less downtime and lower maintenance costs. In addition, AI workloads will continue to increase. This will require high-performance computing systems, GPU-accelerated servers and high-bandwidth, low-latency storage systems to handle the huge amounts of data and complex computations associated with AI training and inference.

Another trend is an increased focus on sustainability and energy efficiency. With the increasing power density of AI data centers, cooling is becoming a crucial aspect. Advanced cooling technologies such as liquid cooling will gain popularity because they cool efficiently while reducing energy consumption compared to traditional air conditioning systems. In addition, the use of natural cooling methods, such as free cooling, will be further explored to minimize energy consumption.

[i] https://www.bitkom.org/sites/main/files/2024-01/bitkom-leitfaden-energieeffizienzgesetz-fuer-rechenzentren.pdf

[ii] https://kpmg.com/xx/en/home/insights/2022/10/renewable-energy-and-energy-efficiency-directives.html