Wer heute sein Rechenzentrum (RZ) energieeffizient klimatisieren will, ist vor einigen Herausforderungen gestellt. Der Power Usage Effectiveness (PUE) setzt die insgesamt im Rechenzentrum verbrauchte Energie ins Verhältnis mit der Energieaufnahme der Rechner und wird oft als Maß der Dinge verstanden, die Energieeffizienz des Rechenzentrums darzustellen. Jedoch lässt die geforderte IT-Leistung oft keine Einsparung zu. Erhebliche Potenziale für Energieeinsparungen bieten sich vielmehr in der Gebäudetechnik, welche für den Betrieb des RZ notwendig ist.
Die wichtigsten Bausteine sind zunächst eine richtig ausgelegte Raumklimatisierung sowie ein genau dimensioniertes und hy-draulisch abgeglichenes Kaltwassersystem. Für die Auslegung der Raumklimatisierung spielt nicht nur die DIN EN 13779 (Lüftung von Nichtwohngebäuden) eine wichtige Rolle, sondern ebenso die VDI 2054 (Raumlufttechnische Anlagen für Datenverarbeitung) sowie ASHRAE (TC 9.9, thermische Richtlinien für den Rechenzentrumsbetrieb). Die Grenzwerte, die die VDI 2054 beschreibt, decken sich weitestgehend mit den Werten, die ASHRAE als optimal bezeichnet. Daraus ergibt sich für die Server-Zuluft im IT-Raum ein Temperaturbereich von 18 °C bis 27 °C bei einer relativen Luftfeuchte von 20 bis 80 Prozent. Je besser diese Umgebungsparameter auf den Betrieb des IT-Equipments angepasst werden können, umso effizienter kann die thermische Last an den Racks abgeführt werden.
Genaue Berechung der Kühllast
In den meisten Fällen wird in den heutigen Rechenzentrumsanwendungen ein 1-facher Luftwechsel pro Stunde für die Frischluftversorgung angesetzt, da das Rechenzentrum oftmals kein stetiger Arbeitsplatz im Sinne der Norm ist. Wird nun die thermische Last des IT-Equipments direkt am Rack abgeführt, müssen die Komponenten der Lüftungsanlage nur für die Konditionierung der Raumluft bemessen und ausgelegt werden. Die gesamte thermische Last für das Rechenzentrum setzt sich zusammen aus der
- thermischen Last, die das eingebaute IT-Equipment erzeugt. Diese kann direkt am Rack durch Kühleinheiten abgeführt werden.
- thermischen Last, die durch interne Wärmequellen, wie Beleuchtung und Sonneneinstrahlung durch Fenster, entsteht. Für die IT-Klimatisierung ist dies die externe Last, die die raumlufttechnische Anlage (RLT) abführt.
Eine präzise Kühllastberechnung nach VDI 2078 ist notwendig, um die richtige Dimensionierung des Luftkühlers der RLT-Anlage zu gewährleisten, damit die thermische Last der Beleuchtung und anderen internen Wärmequellen abgeführt werden kann. Die Kühlung der IT-Last entfällt somit für die RLT-Anlage. Ist je nach benötigter Luftqualität eine Befeuchtung der Zuluft erforderlich, sollte diese mit einer Dampfbefeuchtung in der RLT-Anlage realisiert werden. Auf diese Weise lassen sich die hygienischen Anforderungen der VDI 6022 (HygienischeAnforderungen an RLT-Anlagen) an die Raumluftqualität leichter erfüllen als bei einer direkten Befeuchtung am IT-Rack.
Grundlage für die Ermittlung der gesamten thermischen IT-Last ist die elektrische Anschlussleistung aller IT-Racks im Rechenzentrum. Wird ein IT-Rack mit einer elektrischen Anschlussleistung von z. B. 18 kW versorgt, ergibt sich im Volllastbetrieb eine thermische Verlustleistung von nicht mehr als 18 kW. Ist aus Redundanzgründen eine elektrische A- und B-Versorgung installiert, so ist für die Ermittlung der thermischen Verlustleistung nur die Normalversorgung relevant, da der Strom über die B-Versorgung nur beim Ausfall der A-Versorgung Leistung eingebracht wird.
Präzise Bestandsaufnahme bei Sanierung
Steht die Sanierung eines Rechenzentrums an, ist die genaue Bestandsprüfung unumgänglich. Wurde die RLT-Anlage nach der VDI 2054 dimensioniert, so ist hier ein Mindest-Zuluftvolumenstrom von 10 m³ pro m² Fläche vorgesehen. Legt man aber nun den Mindest-Zuluftvolumenstrom nach DIN EN 13779 zugrunde, kann dieser um 70 Prozent geringer ausfallen. Bei einem RZ mit einer Grundfläche von 240 m² und einer Raumhöhe von 3,5 Metern ergibt sich nach VDI 2054 ein Mindest-Zuluftvolumenstrom von 2 400 m³ pro Stunde. Unter mitteleuropäischen Betriebsbedingungen ist eine mittlere Luftqualität nach IDA 2 (Indoor Air; EN 13779, Kapitel 6.2.5, Tabelle 5) ausreichend. Dient hier der Mindest-Zuluftvolumenstrom der EN 13779 als Basis, wird ein flächenbezogener Mindest-Zuluftvolumenstrom von 0,83 Litern pro Sekunde je m² angegeben. Somit ergibt sich ein Mindest-Zuluftvolumenstrom von 715,2 m³ pro Stun- de. Der vormals 3-fache Luftwechsel hat sich auf einen 1-fachen reduziert. Die Reduzierung des Mindest-Zuluftvolumenstromes ermöglicht nicht nur die Verwendung eines deutlich kleineren Kanalnetzes zur Luftversorgung des RZ: auch die elektrische Leistungsaufnahme der Ventilatoren verringert sich um mehr als die Hälfte. Bei einem ganzjährigen Rechenzentrumsbetrieb resultieren daraus erheblich niedrigere Betriebskosten und ein deutlich besserer PUE.
Thermische IT-Last dort abfahren, wo sie entsteht
Um die Abwärme der IT-Racks gezielt abzuführen, lassen sich beispielsweise Klimasysteme an den Server-Racks installieren, in denen ein Luft/Wasser-Wärmeübertrager eingebaut ist. Die Liquid Cooling Packages (LCPs), wie sie Rittal anbietet, können elektrische Verlustleistungen von 10 kW bis 55 kW pro Einheit abführen. Bei der heutigen Maßgabe, in IT-Räumen eine hohe Packungsdichte zu erreichen, muss der Platzbedarf der Komponenten also möglichst gering sein. So nimmt eine LCP-Einheit nur 0,36 m² in Anspruch. Aus Platzgründen ist eine hohe Packungsdichte zwar verständlich, die Kehrseite ist allerdings, dass sich damit die Abwärme der im Rack verbauten Komponenten ebenfalls sehr schnell aufsummiert. Beispielsweise gibt der Hersteller eines Core Switches (die leistungsstärkste Switch-Variante mit dem höchsten Datendurchsatz) eine Wärmeabgabe von 6 kW an. Bei einem Bladesystem sind 4 kW pro Unit nicht ungewöhnlich. Werden nun fünf Bladesysteme und zwei Core Switches in dem Rack installiert, entstehen dadurch 32 kW Wärme im Rack. Ohne eine adäquate Kühlung würde die Raumtemperatur bereits nach kurzer Betriebszeit stark ansteigen. Ein Großteil der installierten Systeme wäre aufgrund von Überhitzung nicht mehr funktionsfähig. Doch moderne IT-Racks mit einer thermischen Verlustleistung von 18 kW bis 24 kW sind heute keine Seltenheit mehr. Hochschulen erreichen aufgrund enormer Rechenleistungen sogar noch deutlich höhere Verlustleistungen pro Rack. Die Erfahrung hat gezeigt, dass bis zu 5 kW pro Server-Rack und einer homogenen Verteilung der Rechenlast im Rack eine Doppelboden-Klimatisierung im gesamten Rechenzentrum eingesetzt wird. Ab 5 kW bis 15 kW findet die Reihenklimatisierung Anwendung. Übersteigen die Verlustleistungen 15 kW, wird erfahrungsgemäß eine direkte Rackklimatisierung eingesetzt. Sowohl bei Reihen- als auch bei Rackklimatisierung empfehlen sich LCPs.
Klimatisierung von Rackreihen
Bei der Reihenklimatisierung werden typischerweise die Serverracks nach dem Prinzip des kalten und warmen Ganges im Rechenzentrum aufgestellt. Hierbei stehen sich jeweils die Vorderseiten von zwei Rackreihen gegenüber und bilden den Kaltgang. In diesen wird die Kaltluft durch entsprechende Kühleinheiten eingeblasen und diese Luft vom IT-Equipment in den Racks angesaugt. Die sich gegenüberstehenden Rückseiten der Serverracks bilden den sogenannten Warmgang. Aus diesem wird die Warmluft mittels der Kühleinheiten angesaugt, abgekühlt und wieder in den Kaltgang eingeblasen. Je nach Bedarf kann man den Warm- oder Kaltgang einhausen und spricht dann von der sogenannten Warm- oder Kaltgangeinhausung. Sie verhindert die Vermischung von kalter und warmer Luft, wodurch ein größtmögliches luftseitiges Delta T erreicht wird, sodass die Kühleinheiten mit maximaler Effizienz beim Generieren der Kühlleistung arbeiten. Der entstandene Gang in der Mitte der Rackreihen wird nach oben mit Deckenelementen verschlossen, eine seitliche Abschottung erfolgt über Schiebetüren. Transparente Deckenelemente lassen genug Licht durch, eine zusätzliche Beleuchtung im Kaltgang ist nicht notwendig. Entscheidend ist die saubere Trennung des Kalt- und Warmluftbereichs. Die LCP-Einheiten sind seitlich am Rack montiert und blasen die kalte Luft in den Kaltgang ein. Die in den Racks befindlichen Server saugen die Kaltluft durch perforierte Racktüren an, führen sie über die zu kühlende interne Peripherie wie Festplatten, Platinen und zentrale Processing Units und blasen die nun erwärmte Luft über die perforierte Rücktür wieder aus. Die LCP-Einheit saugt sie wiederum gezielt ab, kühlt sie herunter und bläst sie erneut in den Kaltgang ein.
Direkte Kühlung am IT-Rack
Sind die Anforderungen an die IT-Klimatisierung höher, kann das Rack auch direkt durch die LCP-Einheit klimatisiert werden. In diesem Fall wird die kalte Luft direkt vor die 19"-Ebene in das IT-Rack eingeblasen und im hinteren Bereich aus dem Rack abgesaugt. Diese Anwendung ermöglicht die Kühlung von zwei IT-Racks pro LCP. Die Mehrzahl des IT- Equipments arbeitet nach dem Prinzip der Front-to-back-Klimatisierung: dem Ansaugen kalter Luft über die Gerätefront und dem Ausblasen der Warmluft an der Rückseite. In einem voll ausgebauten Rack mit 47 Höheneinheiten (1 HE = 44,45 mm; 47 HE = 2,08915 m) entsteht so eine enorme Luftleistung. Ein marktüblicher Server für kleine und mittlere Unternehmen erzeugt beispielsweise einen maximalen Luftvolumenstrom von 231 m³ pro Stunde in einer HE. Auch bei Servern, die eine seitliche Luftführung erfordern, ist die Kühlung per LCP problemlos möglich, wenn vorher die Luftleitbleche im Rack verschoben werden.
Verschiedene Geräteklassen leistungsbezogener Ausbau
Verfügbar ist ein LCP zur Abführung von thermischer Last in zwei Geräteklassen: für 10 kW bis 30 kW und für 40 kW bis 55 kW. Die angegebenen Nennkühlleistungen werden jeweils bei einer Vorlauftemperatur von 15 °C erreicht. Die Geräte können leistungsbezogen mit Lüftermodulen ausgebaut und so der Wärmelast modular angepasst werden. Bei der 30-kW-Einheit ist ein Lüftermodul vorinstalliert und kann somit eine Verlustleistung von 10 kW kühlen. Um eine Kühlleistung von 30 kW zu erbringen, sind zwei zusätzliche Module zu installieren. Die 30-kW-Unit kann mit maximal sechs Lüftermodulen ausgebaut werden. Damit erzielt sie eine n+3 Redundanz sowie eine Reduzierung der Lüfterdrehzahl. Laufen die drei nötigen Lüfter für 30 kW Kühlleistung mit 92 Prozent Drehzahl, reduziert diese sich durch den Einsatz von sechs Lüftern auf 49 Prozent. Die Aufnahme elektrischer Leistung sinkt um 46 Prozent ein weiteres Plus für eine erhöhte Energieeffizienz.
Regelung nach der ServerZulufttemperatur
Die LCP-Einheit verfügt über eine vollkommen autarke, stetige Regelung zur genauen Einstellung der Server-Zulufttemperatur. Der Betriebspunkt der Server-Zulufttemperatur ist hier frei konfigurierbar, so kann immer eine Anpassung der Zuluft auf die Parameter des IT-Equipments erfolgen. Hier wird mit einer Toleranz von ± 1 K die kalte Luft abgegeben. In der LCP-Einheit wird am Wärmeübertrager sowohl an der Abluft- als auch an der Zuluft-seite an jeweils drei Punkten die Temperatur gemessen: am unteren Ende, in der Mitte und am oberen Ende des Wärmeübertragers. Mit diesen sechs Messwerten berechnet sich der Mittelwert der Zu- und Abluft der Server. Oft sind die Racks in einem Rechenzentrum mit unterschiedlichsten Komponenten bestückt, die wiederum verschiedene Ablufttemperaturen aufweisen. Eine Regelung nach dem Mittelwert der Zu- und Abluft ist meist der effizienteste Ansatz. Sind in einem IT-Rack jedoch Geräte schwerpunktmäßig in einem Drittelverbaut, kann die Einstellung so konfiguriert werden, dass zur Regelung die höchste Lufttemperatur als Führungsgröße dient. Die LCP-Einheit verfügt über zwei Regelkreise. Wird zunächst eine Sollwert-Abweichung derZuluft-Temperatur erreicht, korrigiert der Regelkugelhahn den Wasserdurchfluss. Ist dies nicht ausreichend, wird die Luftleistung der Ventilatoren nachreguliert. Dies geschieht durch eine entsprechend höhere oder niedrigere Drehzahl der Lüfter.
Kaltwassersystem exakt dimensionieren
Genauso wichtig wie eine präzise eingestellte RLT-Anlage ist ein genau dimensioniertes und ausgelegtes Kaltwassersystem zur Kühlung der thermischen IT-Last. Wurde Wasser zur Kühlung im Rechenzentrum vor einiger Zeit noch sehr skeptisch betrachtet, ist dies heute Stand der Technik. Wenn bei der Erzeugung des Kaltwassers ein Kaltwassersatz (Chiller) mit einem Freikühler zum Einsatz kommt, muss auch eine entsprechende Auslegung des hydraulischen Netzes erfolgen. Bei der Verwendung eines Freikühlers sollte das Kaltwassernetz in zwei Kreise aufgeteilt werden: den Primärkreis und den Sekundärkreis. Der Primärkreis stellt die hydraulische Verbindung vom Chiller zum Freikühler und wird mit einem Wasser/Glykol-Gemisch betrieben. Der Sekundärkreis bildet die hydraulische Verbindung vom Chiller zu der LCP-Einheit und funktioniert mit Wasser. Die beiden Kreise sind durch einen Wasser/Wasser-Wärmeübertrager hydraulisch voneinander getrennt. Durch die Beigabe von Glykol zum Systemwasser verschlechtert sich hier die spezifische Wärmekapazität des Mediums: Es muss eine größere Menge des Wasser/Glykol-Gemischs umgewälzt werden, als es mit Wasser der Fall wäre, um die gleiche Leistung erbringen zu können. Folglich sollte im Sekundärkreis nach Möglichkeit kein Wasser/Glykol-Gemisch zur Verwendung kommen, da dies durch die größere Umwälzmenge und größeren Druckverluste im unmittelbaren Zusammenhang mit einer höheren elektrischen Leistungsaufnahme der Umwälzpumpen steht.
Leitungsnetz auf Nennkühlleistung auslegen
Geringe Druckverluste im hydraulischen Netz sind die Grundlage für einen geringen Energieaufwand. Oft wird die durch freie Kühlung eingesparte Energie durch hohe elektrische Pumpenleistungen zunichtegemacht. Diese resultieren aus zu hohen Druckverlusten im hydraulischen Netz. Bei turbulenten Strömungen im System ist der Druckverlust in der Rohrleitung in der fünften Potenz zum Rohdurchmesser abhängig. Dies bedeutet: wird eine 15 Prozent größere Dimension verwendet, ist der Druckverlust um bis zu 50 Prozent geringer. In den meisten Fällen ist es am effizientesten, wenn das Leitungsnetz auf die Nennkühlleistung der LCP-Einheit ausgelegt wird, auch wenn die momentan eingebrachte IT-Last geringer ist. Für ein funktionierendes Kaltwassersystem muss der Versorgungsstrang schon ab dem Kaltwasserverteiler durch Strangregulierventile oder Differenzdruck Regulierventile hydraulisch einreguliert sein. Verteilleitungen im Rechenzentrum müssen ebenfalls hydraulisch einreguliert werden, damit jedem LCP die nötige Wassermenge zur Verfügung steht. Generell sollte die Vorlauftemperatur des IT-Kaltwassersystems so hoch wie möglich gewählt werden, erfahrungsgemäß liegen diese bei 15 °C bis 18 °C. Denn je höher hier die Vorlauftemperatur, umso höher ist der Kaltwasseranteil, welcher durch Freikühlung erzeugt werden kann und nicht mit Kompressionskälte und damit zusätzlichem Aufwand erzeugt werden muss. Hier sind entsprechende Vereinbarungen in Abhängigkeit vom installierten IT-Equipment zwischen dem Betreiber eines Rechenzentrums und dem Verantwortlichen für die technische Gebäudeausstattung die beste Lösung. Oft sind jedoch auch Kaltwassersysteme mit den Systemtemperaturen 6/12 °C bereits installiert. Hier kann man durch die Installation eines Drei-Wege-Mischers jedoch die benötigte IT-Kaltwassertemperatur erreichen. Warmes Rücklaufwasser aus dem LCP-Kreis wird einfach dem zu kalten Vorlauf beigemischt.
Kondensat vermeiden
Arbeitet die IT-Klimatisierung mit zu geringen Vorlauftemperaturen, kommt es zu Kondensation in den LCPs, was wiederum abgeführt werden muss und zudem auch den Verlust von Kühlleistung bedeutet (latente Kühlleistung). Für die Kühlung des IT-Equipments kann so weniger Kühlleistung generiert werden (sensible Kühlleistung). Durch eine zusätzliche hydraulische Schaltung (Einspritzschaltung) kann die Vorlauftemperatur über den Taupunkt angehoben werden, um die Kühlleistungsverluste zu vermeiden, ebenso verhindert sie Schwankungen der Rücklauftemperatur. Das Lastverhalten des IT-Equipments unterliegt oft Schwankungen mit einem sehr hohen Intervall, so wird hier auch in gleichen Intervallen die Kühlleistung des LCPs geregelt. Hierdurch ergibt sich kein stetiges Delta T zwischen Vor- und Rücklauf. Aus diesem Grund muss zur Dimensionierung der Wassermenge der für die Kühlleistung angegebene Massenstrom benutzt werden.
Fazit
In einem Rechenzentrum stecken häufig Hard- und Software im Wert von vielen Hunderttausend Euro. Die Betriebskosten IT und Kühlung erreichen oft mehrere Zehntausend Euro im Jahr. Es ist schlichtweg ökonomisch sinnvoll, diese Werte bestmöglich und so effizient es geht aufeinander abzustimmen. Dazu leistet eine optimale Klimatisierung einen entscheidenden Beitrag. Gut beraten ist, wer eine in sich abgestimmte und effiziente Infrastruktur verwendet. -
Daniel Luther
Produktmanager IT-Klimatisierung, Rittal, Herborn
Kerstin Ginsberg
PR-Referentin IT, Rittal, Herborn
