Technische Gebäudeausrüstung von RZ
»Mit steigenden Rackdichten muss komplett neu gedacht werden«
Höhere Leistungsdichten, AI- und HPC-Anwendungen in der technische Gebäudeausrüstung von Rechenzentren: Paulos Marx, Geschäftsführer RPM Technical Solutions, über die Grenzen von Luftkühlung, die Rolle von Liquid Cooling und Modernisierungen im laufenden RZ-Betrieb.
Herr Marx, als spezialisierter Generalunternehmer sind für den Bau, die Modernisierung und Erweiterung von Rechenzentren tätig. Ab welcher Rack-Leistungsdichte ändern sich aus Ihrer Projekterfahrung die Anforderungen an das Kühlkonzept?
Einen einzelnen festen Grenzwert gibt es aus meiner Projekterfahrung nicht. Welche Kühltechnologie notwendig ist, hängt immer vom Serverdesign, der zulässigen Zulufttemperatur, der vorhandenen Infrastruktur und der tatsächlichen Lastverteilung ab.
Als praxisnahe Orientierung sehen wir bei RPM: Bis etwa 10 bis 15 kW pro Rack lassen sich die meisten Anwendungen mit einer gut geplanten klassischen Luftkühlung sicher und wirtschaftlich betreiben. Ab etwa 15 bis 30 kW pro Rack steigen die Anforderungen deutlich. Dann müssen Luftführung, Kalt- und Warmgangeinhausung, Druckverhältnisse, Redundanzen und die verfügbare Kühlleistung wesentlich genauer betrachtet werden.
Ab etwa 30 bis 50 kW pro Rack wird Flüssigkeitskühlung aus unserer Sicht zunehmend interessant beziehungsweise bei entsprechenden Serverkonfigurationen technisch sinnvoll. Hier kommen beispielsweise Direct-to-Chip- oder Rear-Door-Konzepte zum Einsatz. Bei 50, 80 oder 100 kW und teilweise deutlich über 100 kW pro Rack, wie wir es zunehmend bei AI- und HPC-Anwendungen sehen, wird Flüssigkeitskühlung aus unserer Sicht zu einem wesentlichen Bestandteil des Kühlkonzeptes.
Entscheidend ist dabei allerdings nicht nur die theoretische Rackleistung. Ein Rack mit 80 kW Anschlussleistung bedeutet nicht automatisch 80 kW dauerhafte thermische Last. Für die TGA müssen deshalb reale Betriebszustände, Gleichzeitigkeiten und Lastprofile betrachtet und später im Commissioning entsprechend getestet werden.
Wo liegen heute die Grenzen der klassischen Luftkühlung?
Die Luftkühlung ist aus meiner Sicht weiterhin absolut berechtigt und wird uns noch lange begleiten. Bei niedrigen und mittleren Rackdichten ist sie technisch erprobt, vergleichsweise einfach zu betreiben und verfügt über etablierte Wartungs- und Redundanzkonzepte.
Die Grenzen entstehen bei hohen Leistungsdichten. Je mehr Wärme aus einem kleinen Bereich abgeführt werden muss, desto größer werden die erforderlichen Luftmengen. Damit steigen Ventilatorleistung, Strömungsgeschwindigkeit, Druckverluste und der Aufwand für eine saubere Luftführung. Irgendwann wird es technisch und energetisch nicht mehr sinnvoll, immer größere Luftmengen durch ein Rack beziehungsweise einen White Space zu bewegen.
Welche Rolle übernimmt an diesem Punkt die Flüssigkeitskühlung?
Flüssigkeit kann Wärme wesentlich effektiver transportieren als Luft. Deshalb sehen wir Direct-to-Chip und vergleichbare Liquid-Cooling-Systeme als eine der wichtigsten Technologien für zukünftige High-Density-Rechenzentren.
Die Herausforderung liegt aus unserer Sicht weniger in der grundsätzlichen Technologie als in der Integration in die gesamte TGA. CDU, Pumpen, Wärmetauscher, Rohrleitungsnetze, Wasserqualität, Temperaturen, Druckstufen, Leckageüberwachung, Redundanzen und Regelung müssen als Gesamtsystem funktionieren.
Wichtig ist außerdem: Liquid Cooling bedeutet nicht automatisch, dass keine Luftkühlung mehr benötigt wird. Je nach Serverarchitektur verbleibt weiterhin eine Restwärmelast im Raum, die über klassische Luftkühlung abgeführt werden muss.
Und wie beurteilen Sie neue Konzepte wie Immersionskühlung?
Immersionskühlung ist technisch sehr interessant und ermöglicht sehr hohe Leistungsdichten. Für spezielle HPC- oder AI-Anwendungen kann sie durchaus sinnvoll sein. Im klassischen Colocation- und Enterprise-Rechenzentrum sehen wir aktuell jedoch noch Hindernisse bei Standardisierung, Wartung, Hardwarekompatibilität, Serviceprozessen und der Integration in bestehende Betriebsstrukturen.
Aus unserer Sicht wird deshalb kurzfristig vor allem die Kombination aus Luftkühlung und Direct-to-Chip-Liquid-Cooling eine große Rolle spielen.
Was bedeutet der Übergang zu höheren Rackdichten konkret für die TGA-Planung?
Höhere Rackdichten verändern nicht nur die Kühlung, sondern praktisch die gesamte technische Gebäudeausrüstung eines Rechenzentrums. Aus Sicht von RPM müssen unter anderem die elektrische Anschlussleistung und Leistungsverteilung, USV- und Generatorleistung, NSHV- und gegebenenfalls Mittelspannungsverteilung sowie Stromschienen und Rackversorgung neu betrachtet werden. Hinzu kommen Selektivität und Schutzkonzepte, Kühlleistung und hydraulische Infrastruktur, Rohrleitungsdimensionierung und Pumpenleistung sowie CDU-Konzepte und deren Redundanz.
Auch Rückkühlwerke beziehungsweise Chiller, Regelung und Gebäudeleittechnik, Leckageüberwachung, Brandschutz, die statische Belastung durch zusätzliche Technik und teilweise höhere Rackgewichte sowie Commissioning und reale Lasttests müssen berücksichtigt werden.
Was heißt das speziell für bestehende Rechenzentren, die zusätzliche Kapazitäten schaffen sollen?
Gerade im Bestand ist häufig nicht das einzelne Kühlgerät das Problem. Entscheidend ist, ob die gesamte Versorgungskette die zusätzliche Leistung übertragen kann.
Ein Rechenzentrum kann beispielsweise elektrisch noch Reserven besitzen, während auf der Kühlungsseite Pumpen, Rohrleitungen oder Rückkühlwerke bereits ihre Kapazitätsgrenze erreicht haben – oder umgekehrt.
Deshalb betrachten wir bei Erweiterungen immer den vollständigen Pfad: Netzanschluss, Mittelspannung, Transformator, Niederspannung, USV, Stromverteilung, Rack, Kühlung und schließlich Wärmeabfuhr.
Erst wenn diese komplette Kette betrachtet wurde, lässt sich aus unserer Sicht seriös beurteilen, welche zusätzliche IT-Leistung tatsächlich installiert werden kann.
Welche Fehler oder Hindernisse begegnen Ihnen bei Modernisierungen und Kapazitätserweiterungen besonders häufig?
Das größte Risiko ist aus meiner Sicht, eine Erweiterung ausschließlich auf Basis von Planunterlagen zu bewerten. Gerade bei älteren Rechenzentren stimmen Bestandsunterlagen und tatsächliche Installation nicht immer vollständig überein. Deshalb ist eine detaillierte Bestandsaufnahme vor Beginn der Planung zwingend erforderlich.
Typische Probleme aus unserer Projekterfahrung sind unvollständige oder nicht aktualisierte Bestandsdokumentationen, nicht bekannte tatsächliche Lasten und Gleichzeitigkeiten sowie überschätzte elektrische oder thermische Reservekapazitäten. Hinzu kommen fehlende hydraulische Reserven, fehlende Reserven in Stromschienen oder Verteilungen und ungeklärte Redundanzen während der Umbauphase.
Weitere Herausforderungen sind Schnittstellenprobleme zwischen Bestands- und Neuanlagen, nicht ausreichend abgestimmte BMS- beziehungsweise GLT-Regelungen, fehlende oder unvollständige Sequence-of-Operations sowie Arbeiten an aktiven elektrischen oder mechanischen Systemen ohne ausreichend detaillierte MOPs und Rückfallkonzepte. Auch unzureichende Tests nach der Integration neuer Systeme stellen ein Risiko dar.
Warum ist der Umbau im laufenden Rechenzentrumsbetrieb besonders anspruchsvoll?
In einem aktiven Datacenter kann eine technisch kleine Änderung erhebliche Auswirkungen haben, wenn dadurch eine bestehende Redundanz temporär aufgehoben wird. Deshalb müssen Umbauten sehr genau vorbereitet werden.
Dazu gehören aus unserer Sicht insbesondere eine Risikoanalyse, ein Method of Procedure, klar definierte Schalt- und Arbeitsabläufe, Verantwortlichkeiten und Rückfall- beziehungsweise Rollback-Szenarien. Ebenso wichtig ist eine eindeutige Kommunikation zwischen Betreiber, GU, Fachplanern, Nachunternehmern und Commissioning.
Welche Bedeutung hat das Commissioning dabei?
Commissioning unter realistischen Lastbedingungen halten wir bei RPM für besonders wichtig. Eine Anlage ist für uns nicht allein deshalb fertig, weil alle Komponenten eingeschaltet werden können. Entscheidend ist, ob das Gesamtsystem auch bei realen Lasten, Lastsprüngen und Fehlerfällen wie geplant funktioniert.
Gerade bei hohen Rackdichten müssen deshalb elektrische Versorgung, Kühlung und Regelung gemeinsam getestet werden. Lastbanktests und funktionale Tests sind für uns ein wichtiger Bestandteil, um das Verhalten des Rechenzentrums unter möglichst realistischen Betriebsbedingungen bereits vor der tatsächlichen IT-Last nachzuweisen.
Was ist für Sie die zentrale TGA-Herausforderung, wenn die Leistungsdichten in Rechenzentren weiter steigen?
Mit steigenden Rackdichten verändert sich nicht nur die Kühltechnologie. Die komplette TGA muss als zusammenhängendes System betrachtet werden. Die größte Herausforderung liegt deshalb nicht in einer einzelnen neuen Technologie, sondern in der sicheren Integration von Stromversorgung, Kühlung, Regelung und Redundanz – insbesondere bei Modernisierungen im laufenden Betrieb.