Die Technologie funktionierte gut, aber um von 40 kW pro Rack auf 250 kW und mehr zu kommen, stieß auch diese Technologie an ihre Grenzen.

Wie man Rechenleistung in Rechenzentren sicher und effizient steigern kann, beschäftigt viele Ingenieure. Die Idee, die Vorteile der Flüssigkeitskühlung durch Eintauchen schwerer IT-Systeme in die Kühlflüssigkeit voll auszuschöpfen, hat sich dabei als attraktive Option erwiesen. Nach über zehn Jahren Experimenten, kommerziellen Anwendungen und Tests: Wo steht diese Branche im Jahr 2021, und wie werden sich Netzteile an diese Technologie anpassen und weiterentwickeln?

Vom Goldfischglas zum Hochleistungsrechenzentrum:
Fans von Online-Spielen mit hohem Rechenleistungsbedarf erinnern sich vielleicht an PC-Messen, auf denen Computer in Öl getaucht in Goldfischgläsern präsentiert wurden (Abbildung 01). Die Idee, von dieser Technologie zu profitieren, wird in der Gaming-Community bereits seit 2005 erforscht. Das größte Interesse daran entstand jedoch durch das Bitcoin-Mining, das enorme Rechenleistung erfordert.
Zu Beginn des Bitcoin-Minings nutzten viele Unternehmen das kalte nordische Klima und die lokal erzeugte erneuerbare Wasserkraft, um Rechenzentren zu errichten. Die nordischen Länder riefen zahlreiche Projekte zur Unterstützung dieser Initiativen ins Leben. Ein Beispiel ist das schwedische Projekt „The Node Pole“, das die Verfügbarkeit von stabilem Strom und wettbewerbsfähigen Preisen aus erneuerbaren Energiequellen fördert und Rechenzentrumsbetreiber dazu einlädt, von diesem einzigartigen Umfeld zu profitieren.
Viele führende Unternehmen haben Rechenzentren in den nordischen Ländern errichtet, beispielsweise in Boden, Schweden. Man könnte beispielsweise das Bitcoin-Unternehmen KnC Miner erwähnen, das 2014 ein 10-Megawatt-Rechenzentrum mit Hochleistungsrechnern für das Kryptowährungs-Mining eröffnete und dabei Wasserkraft und natürliche Kühlung nutzte. Obwohl die Energiequelle für eine Bitcoin-Farm erneuerbar war, ging Abwärme verloren, was Bedenken hinsichtlich „Energieverschwendung“ aufkommen ließ. Viele Bitcoin-Mining-Rechenzentren weltweit arbeiteten in riesigen Lagerhallen mit Tausenden von Recheneinheiten, die durch Zwangsluftkühlung ohne Wärmerückgewinnung gekühlt wurden (Abbildung 02).
Während Bitcoin-Mining-Zentren in den nordischen Ländern mit Zwangsluftkühlung „auskommen“ konnten, war diese Methode definitiv keine langfristige Lösung. Für die massiven Recheneinheiten im Rest der Welt, die nicht von natürlicher Kühlluft profitieren, war sie überhaupt keine Lösung. Angesichts des Erscheinungsbildes und der Umweltauswirkungen wurde Energieverschwendung zu einem wichtigen Thema, und selbst in den nordischen Ländern forderten die lokalen Gemeinschaften von den Rechenzentren eine Verbesserung ihrer Energieeffizienz (PUE) sowie die Optimierung und Wiederverwendung der beim Rechenprozess entstehenden Energie, beispielsweise zur Warmwasserbereitung für die öffentliche Versorgung. Neben
dem Bitcoin-Mining motivierte die steigende Nachfrage nach leistungsstarker Rechenarchitektur für Simulationen und zukünftige autonome Fahrzeugnetzwerke Rechenzentrumsbetreiber, alternative Methoden zur Bereitstellung extrem hoher Rechenleistung auf kleinstem Raum mit einem PUE-Wert nahe eins zu prüfen. Die Idee, die rechenintensiven Komponenten von Rechenzentren in Flüssigkeiten einzubetten, fand in der Ingenieursgemeinschaft Anklang, und bereits 2010 wurden funktionierende Systeme getestet.

Der Weg zur Immersionskühlung war geebnet. Wenn Bitcoin auf Big Data trifft.
Man könnte viele Experimente aufzählen, die weltweit durchgeführt wurden, um Hochleistungsrechner zu entwickeln, die in Flüssigkeiten getaucht werden, aber erwähnenswert ist das 1,4-MW-Container-Rechenzentrum und seine 240-kW-Flachracks, die von dem Hongkonger Unternehmen Allied Control (jetzt LiquidStack) auf den Markt gebracht und 2014 mit dem „Best Green ICT Award“ ausgezeichnet wurden (Abbildung 03).

Von der ersten Generation (2012) bis zur dritten (2015) konnte Allied Control in Zusammenarbeit mit 3M im Rahmen des Projekts 2PIC (2-Phase Immersion Cooling) die Gesamtleistung pro Quadratmeter von 0,25 kW auf 3,23 kW steigern und gleichzeitig die Energieeffizienz (PUE) von 1,02 beibehalten. Dies wurde durch die Optimierung der Immersionskühlung mit dem Kältemittel 3M Novec 7100 ermöglicht.
Die Immersionskühlung, die auf zahlreichen Konferenzen wie dem Open Computing Project Summit (OCP Summit) vorgestellt wurde, bietet beispiellose Leistungsvorteile. Wie Abbildung 4 zeigt, kann die Leistungsdichte pro Rack von 40 kW auf 250 kW (und mehr), die Rechenleistung von 10 kW auf 100 kW pro Quadratmeter und der Energieverbrauch für die Kühlung von 2,0 pPUE (partielle Energieeffizienz) auf unter 1,02 pPUE erhöht werden.
Neben der Leistungssteigerung wird die Immersionskühlung von Rechenzentrumsleitern auch als mögliche Lösung zur Reduzierung des Brandrisikos betrachtet. Wir alle erinnern uns an den Brand im französischen Rechenzentrum von OVH in Straßburg und die dadurch entstandenen Folgeschäden für die Kunden. Trotz aller Vorsichtsmaßnahmen zur Brandverhütung bleibt die höhere Leistungsdichte heutiger, konventionell gekühlter Rechenzentren ein großes Problem für die Betreiber.

Die in Unterwasser-Rechenzentren verwendeten dielektrischen Kühlmittel weisen eine tausendfach höhere Durchschlagsfestigkeit als Luft auf. Selbst bei einem Kurzschluss im Kühlmittel entstehen daher keine Funken oder Zündungen, was das Brandrisiko erheblich reduziert. Zudem benötigen Unterwasser-Rechenzentren nur sehr wenige Lüfter, die hauptsächlich außerhalb der Rechenumgebung im Wärmetauscher installiert sind.
Kurz gesagt, bieten Unterwasser-Rechenzentren zahlreiche Vorteile. Nach Ankündigungen von Google, Alibaba und vielen anderen Unternehmen bestätigt Microsofts jüngste Ankündigung, in seinem Azure-Rechenzentrum in Quincy, Washington, eine zweistufige Immersionskühlung einzusetzen, die steigende Nachfrage nach Big-Data-Computing, das die ursprüngliche experimentelle Phase von Bitcoin ablöst.

Es ist gut, Rechenzentren leistungsstärker und energieeffizienter zu machen, aber funktioniert die Kühlung auch, und was bedeutet das für die Hersteller von Netzteilen?

SLIC
) und die zweiphasige Flüssigkeitsimmersionskühlung (TLIC). Beide Technologien ermöglichen eine Leistung von über 200 kW pro Rack bei einem beeindruckenden PUE-Wert. Die Wahl der Technologie hängt von den Betriebsbedingungen und den in der jeweiligen Branche angewandten Best Practices ab. Zu beiden Technologien existiert umfangreiche Literatur. Vereinfacht dargestellt, funktionieren sie folgendermaßen:
Einphasige Flüssigkeitsimmersionskühlung (SLIC):
Bei der einphasigen Immersionskühlung (Abbildung 05a) werden Server typischerweise vertikal im Gehäuse installiert und mit einer dielektrischen Flüssigkeit auf Kohlenwasserstoffbasis gekühlt, ähnlich Mineralöl, wie es beispielsweise von frühen Videospiel-Enthusiasten verwendet wurde. Die Wärme wird von den Kühlkörperkomponenten an das Kühlmittel abgegeben, das über einen Wärmetauscher in einer Kühlverteilungseinheit (CDU) gekühlt wird.

Einphasenkühlung ist sehr einfach zu bedienen und zu warten. Neben Hyperscale-Rechenzentren (Abbildung 05b) ist SLIC die bevorzugte Lösung für industrielle Computersysteme, die in rauen Umgebungen betrieben werden und ein sehr hohes Sicherheitsniveau erfordern.
Zweiphasen-Flüssigkeitskühlung (TLIC):
In einem Zweiphasen-Tauchkühlsystem (Abbildung 06a) werden die Server in ein speziell entwickeltes Flüssigkeitsbad auf Fluorkohlenstoffbasis eingetaucht. Da die Flüssigkeit einen niedrigen Siedepunkt hat (oft unter 50 °C, im Vergleich zu Wasser mit 100 °C), bringt die Wärme der Server die umgebende Flüssigkeit schnell zum Sieden. Das Sieden der Flüssigkeit bewirkt einen Phasenübergang von flüssig zu gasförmig, daher der Name Zweiphasen-Tauchkühlung. Der Dampf wird dann durch wassergekühlte Kondensatorschlangen, die in die Oberseite der abgedichteten Racks integriert sind, wieder zu Flüssigkeit kondensiert. Die kondensierte Flüssigkeit tropft zurück in das Flüssigkeitsbad und wird im System recycelt (Abbildung 06b).

Stromversorgung für Unterwasseranwendungen:
Die überwiegende Mehrheit der Rechenzentrumsausrüstung wird über einen Vorverstärker mit Strom versorgt, der Wechselspannung in 48 V Gleichspannung umwandelt. Einige nutzen ein Hochspannungs-Gleichstrom-Übertragungssystem (HGÜ) (z. B. 400 V VDC). Bei Unterwassergeräten befinden sich die Netzteile typischerweise außerhalb des Tanks und sind leicht verfügbar. Mittlerweile verfügen jedoch viele hochintegrierte Recheneinheiten über eine integrierte Komplettlösung für die Stromversorgung.
Ursprünglich für raue Umgebungen mit höchsten Sicherheitsanforderungen und schwieriger Kühlung entwickelt, sind Unterwasserelektronikgeräte seit vielen Jahren im Einsatz. Mit der steigenden Nachfrage nach kleinen Netzwerken mit hoher Rechenleistung begann die Entwicklung einer neuen Generation hochintegrierter Unterwasserserver, einschließlich des AC/DC-Netzteils (Abbildung 7).

Obwohl die meisten Netzteilkomponenten mit den verschiedenen Kühlmitteln in SLIC- und TLIC-Systemen kompatibel sind, müssen Netzteilentwickler Elektrolytkondensatoren sorgfältig auswählen. Elektrolytkondensatoren sind zwar feuchtigkeitsbeständig, die Eigenschaften ihrer Dichtungskapseln können jedoch bei dauerhaftem Eintauchen beeinträchtigt werden. Da der Betrieb eines solchen Kondensators unter diesen Bedingungen außerhalb seiner Spezifikationen liegen kann, ist es wichtig, die Lebensdauer der Kondensatoren unter Wasser zu simulieren, zu testen und zu verifizieren, bevor sie in dieser Weise eingesetzt werden.
Ein weiterer wichtiger Parameter sind die thermischen Bedingungen, die sich bei flüssigen Kühlmitteln deutlich von denen in Luft unterscheiden. In beiden Fällen – durch Zirkulation in SLIC-Systemen und durch Verdunstung in TLIC-Systemen – wird die Wärme von den Kühlkörperkomponenten viel schneller abgeführt als in Luft. Bei einigen Komponenten sind diese positiven Temperaturkoeffizienten (PTC) temperaturabhängig, und bei Anwendungen unter Wasser ist der Temperaturgradient zwischen niedrigen und hohen Temperaturen deutlich geringer. Netzteilentwickler müssen dies berücksichtigen.
Kühlmittel besitzen hohe dielektrische Eigenschaften, und der Betrieb von Hochspannungsschaltsystemen in Unterwassernetzteilen ist problemlos möglich. Wichtig ist jedoch eine hohe physikalische Isolation, beispielsweise durch eine Schutzlackierung, um Elektrolytkorrosion beim Eintauchen in die Flüssigkeit zu verhindern.
Die meisten Konstruktionsprinzipien der Luftkühlung gelten auch für Unterwasseranwendungen. Dabei ist eine optimierte Flüssigkeitszirkulation im Netzteil unerlässlich.
Die Temperaturmessung kann unter Eintauchbedingungen eine Herausforderung darstellen. Obwohl häufig konventionelle Temperatursensoren mit spezifischer Ankopplung an die Kühlkörperkomponenten verwendet werden, kommen oft auch andere Regelungsverfahren mit digitaler Messung zum Einsatz. Darüber hinaus helfen Techniken wie die Welligkeitsanalyse und die Rauschhüllkurvenanalyse, die Gesamtleistung zu überwachen und präventive Wartungsmaßnahmen einzuleiten, sobald Parameter kritische Grenzwerte überschreiten.

Was kommt als Nächstes?
Was mit Gaming-Fans begann, die ihre Computer in Aquarien tauchten, und sich nun zu riesigen Rechenzentren entwickelt hat, zeigt, dass die Welt des immersiven Computings vor einem rasanten Wachstum steht. Die COVID-19-Pandemie treibt die Nachfrage nach Rechenzentrumsdienstleistungen an, ebenso wie neue Technologien wie autonome Fahrzeuge und der frühe 5G-Ausbau. SLIC und TLIC werden die Leistung weiter verbessern, ebenso wie Netzteilhersteller, die an hocheffizienten Topologien mit Breitbandhalbleitern (SiC und GaN) arbeiten. Nach zehn Jahren Experimentieren und lokalen Initiativen öffnet sich die Welt des immersiven Computings.
Netzteilentwickler lieben Herausforderungen, und die Entwicklung von Multi-Kilowatt-Netzteilen für immersives Computing ist eine, der sie nicht widerstehen können.

Autor: Patrick Le Fèvre, PRBX, Marketing- und Kommunikationsdirektor