vladimircaribb - stock.adobe.com
Kühlung von KI-Rechenzentren für hochdichte Server skalieren
KI-Rechenzentren stehen vor thermischen Herausforderungen. Effektive Kühlstrategien, die Luft- und Flüssigkeitskühlung kombinieren, sind für Zuverlässigkeit und Effizienz unerlässlich.
KI- und High-Performance-Computing-(HPC)-Workloads erhöhen die Leistungsdichte moderner Server und Racks erheblich und bringen viele konventionelle, luftgekühlte Rechenzentrumsdesigns an ihre praktischen Grenzen. Die Kühlung hochverdichteter Racks entwickelt sich damit zu einem strategischen Kapazitätsfaktor. Dieser beeinflusst unmittelbar, wie viel Rechenleistung bereitgestellt wird, wie zuverlässig Systeme betrieben werden und wie effizient Rechenzentren skaliert werden können.
Da KI-Training und KI-Inferenz zunehmend in große, GPU-intensive Cluster verlagert werden, konzentrieren sich Rechenleistung und Wärmeentwicklung auf immer weniger, dafür deutlich leistungsstärkere Racks. Moderne KI-Beschleuniger können mehrere Hundert Watt bis über 1 kW pro Prozessor aufnehmen, während vollständig ausgestattete KI-Server häufig eine Leistungsaufnahme von mehreren Kilowatt erreichen. Auf Rack-Ebene steigen die Anforderungen weiter: Während viele Unternehmensrechenzentren noch mit Rackdichten von 10 bis 20 kW arbeiten, erreichen moderne KI-Installationen zunehmend 50 kW, 100 kW oder sogar deutlich mehr pro Rack.
Diese Entwicklung verändert die Rolle der Kühlung bei der Planung und dem Betrieb von Rechenzentren grundlegend. Ein optimierter Luftstrom und eine effiziente Luftkühlung bleiben zwar wichtige Bestandteile moderner Rechenzentrumsarchitekturen, für hochverdichtete KI-Workloads reichen sie jedoch häufig nicht mehr aus. Deshalb gewinnen hybride Kühlkonzepte sowie verschiedene Formen der Flüssigkeitskühlung zunehmend an Bedeutung.
Der Beitrag beleuchtet die Herausforderungen bei der Kühlung hochverdichteter KI-Rechenzentren und zeigt, mit welchen Strategien und Technologien Betreiber steigende Leistungsdichten effizient, zuverlässig und wirtschaftlich beherrschen können.
Warum die Luftkühlung nach wie vor wichtig ist
Die Luftkühlung ist seit Jahrzehnten das Rückgrat des Wärmemanagements in Rechenzentren. Für die meisten bestehenden Rechenzentren mit moderaten Leistungsdichten ist sie nach wie vor ein kostengünstiger und praktischer Ansatz. Allerdings verändert sich das Betriebsumfeld derzeit in einem beispiellosen Tempo und die größte Herausforderung für die Luftkühlung liegen in den grundlegenden physikalischen Gesetzen der Wärmeübertragung.
Luft ist im Vergleich zu Flüssigkeiten nur begrenzt für die Aufnahme und den Transport großer Wärmemengen geeignet. Wasser besitzt pro Masseneinheit eine etwa viermal höhere Wärmekapazität als Luft und kann aufgrund seiner deutlich höheren Dichte wesentlich mehr Wärmeenergie pro Volumeneinheit transportieren. Um beispielsweise 1 kW Wärme bei einem Temperaturanstieg der Luft um 10 °C abzuführen, ist ein Luftstrom von rund 300 Kubikmetern pro Stunde erforderlich. Wird der zulässige Temperaturanstieg halbiert, steigt der notwendige Luftstrom entsprechend an.
Bei vielen luftgekühlten Rechenzentrumsdesigns liegt die wirtschaftliche und betriebliche Grenze typischerweise im Bereich von 30 bis 40 kW pro Rack, auch wenn spezialisierte Konzepte höhere Leistungsdichten unterstützen können. Mit steigender Rack-Leistung nehmen die erforderlichen Luftmengen, Luftgeschwindigkeiten und Druckverhältnisse stark zu. Dies erhöht den Energiebedarf der Kühlung, verursacht höhere Geräuschpegel und erschwert eine zuverlässige Temperaturkontrolle.
Flüssigkeitskühlung setzt direkt an der Wärmequelle an
Für viele Hochdichte-Umgebungen entwickelt sich die Flüssigkeitskühlung daher von einer Option zu einer praktischen Notwendigkeit. Das Grundprinzip besteht darin, die Wärme möglichst nahe an ihrer Entstehungsquelle aufzunehmen und abzuführen. Aufgrund ihrer deutlich höheren Fähigkeit zum Wärmetransport bietet Flüssigkeitskühlung einen effektiven Weg, die thermischen Anforderungen moderner KI- und HPC-Systeme zu bewältigen.
Eine verbreitete Methode ist die Direct-to-Chip-Kühlung (D2C). Dabei werden herkömmliche luftgekühlte Kühlkörper an Prozessoren und Beschleunigern durch wärmeleitende Kühlplatten ersetzt. Ein geschlossenes Rohrsystem transportiert Wasser oder ein spezielles Kühlmittel direkt an die Komponenten und führt die entstehende Wärme effizient ab. Für viele Betreiber stellt D2C den ersten Schritt beim Übergang zur Flüssigkeitskühlung dar.
Ein weiterer Ansatz sind Rear-Door-Heat-Exchanger (RDHx). Diese Wärmetauscher werden an der Rückseite von Serverschränken montiert und entziehen der Abluft die Wärme, bevor sie in den Rechenzentrumsraum gelangt. Dadurch lassen sich höhere Rack-Dichten realisieren, ohne die gesamte Kühlinfrastruktur eines Rechenzentrums grundlegend umbauen zu müssen.
Zu den leistungsfähigsten Kühlverfahren zählt die Immersionskühlung (Tauchkühlung). Dabei werden Server oder einzelne Komponenten vollständig in eine elektrisch nicht leitende Flüssigkeit eingetaucht. Dieses Verfahren eignet sich insbesondere für sehr hohe Leistungsdichten von deutlich über 100 kW pro Rack. Allerdings erfordert es für den Immersionsbetrieb geeignete Hardware sowie angepasste Betriebs-, Wartungs- und Infrastrukturkonzepte. Ein Nachteil der Immersionskühlung ist das hohe Systemgewicht. Die Tanks enthalten häufig mehrere hundert bis mehrere tausend Liter dielektrische Flüssigkeit, so dass einzelne Systeme inklusive Hardware und Infrastruktur mehrere Tonnen wiegen können. Vor allem bei der Nachrüstung bestehender Rechenzentren müssen Betreiber deshalb die Tragfähigkeit von Doppelböden und Gebäudestrukturen prüfen. Das hohe Gewicht erhöht zudem den Aufwand für Transport, Installation und Wartung der Systeme.
Die Skalierung der Kühlung hängt von Effizienz, Überwachung und Nachhaltigkeit ab
Die Skalierung der Kühlleistung im Zeitalter hochverdichteter KI- und HPC-Infrastrukturen ist eine langfristige Aufgabe, die weit über die Auswahl einer einzelnen Kühltechnologie hinausgeht. Benötigt wird eine ganzheitliche Strategie, die modulares Design, intelligente Überwachung, hohe Ausfallsicherheit sowie die Berücksichtigung von Energie- und Ressourceneffizienz umfasst.
Moderne Rechenzentren sollten ihre Kühlkapazitäten schrittweise erweitern können, um unterschiedliche Leistungsdichten und Workload-Anforderungen wirtschaftlich zu unterstützen. Ein solcher Ansatz bietet sowohl finanzielle als auch betriebliche Flexibilität und hilft dabei, die Kosten einer Überdimensionierung zu vermeiden.
Verfahren wie der RDHx lassen sich häufig in bestehende Rechenzentren integrieren und ermöglichen eine höhere Leistungsdichte, ohne dass die gesamte Kühlinfrastruktur neu geplant werden muss. Mit steigenden Rack-Leistungen gewinnen Direct-to-Chip-Systeme (D2C) zunehmend an Bedeutung und werden häufig mit anderen Kühltechnologien kombiniert. In Umgebungen mit besonders hohen Leistungsdichten kann die Immersionskühlung in eigenständigen, modularen Tanks umgesetzt werden. Dabei müssen Betreiber jedoch den zusätzlichen Platzbedarf, das hohe Systemgewicht sowie angepasste Wartungs- und Betriebsprozesse berücksichtigen. Dieser stufenweise Ansatz ermöglicht es, die Kühlleistung bedarfsgerecht mit dem Rechenbedarf wachsen zu lassen.
Das Kühlsystem selbst muss hochverfügbar ausgelegt sein. Fehlertoleranz und Wartbarkeit sollten daher von Beginn an Bestandteil der Architektur sein. Komponenten wie Pumpen, Kühlmittelverteilungseinheiten (Coolant Distribution Units, CDU) und Kältemaschinen werden häufig in redundanten N+1- oder 2N-Konfigurationen betrieben, um auch bei Ausfällen einzelner Komponenten einen unterbrechungsfreien Betrieb sicherzustellen.
Eine skalierbare Kühlstrategie erfordert zudem umfassende Überwachungs- und Analysefunktionen. Dieser datengesteuerte Ansatz erfordert eine engmaschige Sensorik, um thermische und betriebliche Kennzahlen zu erfassen. ASHRAE empfiehlt Temperaturmessungen an mehreren Positionen an der Rack-Front, um Hotspots frühzeitig zu erkennen und die Kühlleistung bedarfsgerecht zu steuern. In Flüssigkeitskühlsystemen überwachen zusätzliche Sensoren Parameter wie Durchfluss, Druck, Vorlauf- und Rücklauftemperaturen sowie den Zustand der Kühlmittelverteilung.
Die gewonnenen Daten können für Predictive-Maintenance-Konzepte genutzt werden. Mithilfe von Machine-Learning-Verfahren lassen sich Anomalien frühzeitig erkennen, Wartungsmaßnahmen besser planen und ungeplante Ausfallzeiten reduzieren. Gleichzeitig kann die Lebensdauer kritischer Infrastrukturkomponenten verlängert werden.
Da Nachhaltigkeit zu einem zentralen Thema moderner Rechenzentren geworden ist, müssen Betreiber verschiedene Effizienzkennzahlen gemeinsam betrachten. Eine fortschrittliche Flüssigkeitskühlung kann den Energiebedarf der Kühlinfrastruktur senken und somit den PUE-Wert (Power Usage Effectiveness) verbessern. Dabei sollte jedoch auch die Wassernutzungseffizienz (Water Usage Effectiveness, WUE) berücksichtigt werden, da einige besonders energieeffiziente Kühlverfahren einen erhöhten Wasserverbrauch verursachen können. Eine nachhaltige Kühlstrategie optimiert somit nicht nur den Energieverbrauch, sondern auch den Ressourcenbedarf über den gesamten Lebenszyklus der Anlage.
Fazit
Für viele moderne Rechenzentren zeichnet sich eine hybride thermische Architektur ab. Dabei kommt je nach Leistungsdichte und Workload die jeweils passende Kühltechnologie zum Einsatz. Eine optimierte Luftkühlung wird für einen großen Teil bestehender Rechenzentren auch künftig unverzichtbar bleiben. Gleichzeitig gewinnen Direct-to-Chip-Kühlung (D2C), Rear-Door-Heat-Exchanger (RDHx) und Immersionskühlung überall dort an Bedeutung, wo hohe Rack-Dichten und leistungsstarke KI- oder HPC-Workloads die Möglichkeiten der klassischen Luftkühlung übersteigen.
Damit entwickelt sich Kühlung von einer unterstützenden Gebäudefunktion zu einer strategischen Infrastrukturebene. Ihre Auslegung wird zunehmend von der Leistungsdichte, den eingesetzten Workloads und dem geplanten Ausbau der Rechenkapazität bestimmt. Erfolgreich werden jene Rechenzentren sein, die verfügbare Energie möglichst effizient in nutzbare Rechenleistung umwandeln können, ohne dabei thermische Engpässe zu erzeugen.
Dieser Artikel ist im Original in englischer Sprache auf Search DataCenter erschienen.
