Chłodzenie powietrzem vs. chłodzenie cieczą w centrach danych: kiedy warto dokonać zmiany?

Sprawdzone przez: Yoan Guyon, Managing Director at gbc engineers

  

Czy chłodzenie cieczą jest właściwym rozwiązaniem dla Twojego centrum danych, czy chłodzenie powietrzem wciąż pozostaje lepszym wyborem? Wraz z rosnącą gęstością mocy w szafach rack, napędzaną obciążeniami AI, tradycyjne systemy chłodzenia powietrzem coraz częściej działają na granicy swoich możliwości.

Dobra wiadomość jest taka, że nie ma jednej uniwersalnej odpowiedzi. Dla większości korporacyjnych centrów danych chłodzenie powietrzem pozostaje niezawodnym i opłacalnym rozwiązaniem. W środowiskach AI i HPC o wysokiej gęstości chłodzenie cieczą szybko staje się jednak koniecznością.

Ten przewodnik gbc engineers wyjaśnia, jak działa każdy z systemów chłodzenia, kiedy chłodzenie cieczą ma uzasadnienie techniczne i biznesowe oraz kiedy chłodzenie powietrzem pozostaje rozsądniejszym wyborem dla obiektu.

Jak działają chłodzenie powietrzem i chłodzenie cieczą w centrach danych?

Systemy chłodzenia powietrzem w centrach danych

Chłodzenie powietrzem polega na cyrkulacji uzdatnionego powietrza przez centrum danych w celu pochłaniania i odprowadzania ciepła z urządzeń IT. Typowa architektura chłodzenia powietrzem w centrum danych obejmuje:

• Jednostki Computer Room Air Conditioning (CRAC) lub Computer Room Air Handler (CRAH) rozmieszczone wokół lub wewnątrz przestrzeni white space
•  Plenum pod podłogą podniesioną, które rozprowadza zimne powietrze do wlotów serwerów
•  Układy separacji korytarzy gorących i zimnych, które oddzielają strumienie powietrza nawiewanego i powrotnego
•  Precyzyjne jednostki chłodzące, chłodnice in-row lub jednostki sufitowe do dodatkowej obsługi wyższych gęstości

Powietrze ma ciepło właściwe około 1,005 kJ/kg·K, czyli znacznie niższe niż woda. Ogranicza to ilość ciepła, którą można przenieść na jednostkę przepływu powietrza, przez co chłodzenie wdrożeń o wysokiej gęstości wyłącznie powietrzem staje się coraz droższe i bardziej wymagające pod względem przestrzeni.

Systemy chłodzenia cieczą w centrach danych

Chłodzenie cieczą wykorzystuje wodę lub specjalistyczne płyny, które przenoszą ciepło około cztery razy efektywniej niż powietrze. Pozwala to odprowadzać ciepło przy większych gęstościach i niższym zużyciu energii. Trzy główne technologie stosowane obecnie w centrach danych to:

• Direct liquid cooling (DLC) / cold plates: Czynnik chłodzący przepływa przez płyty chłodzące zamontowane bezpośrednio na procesorach i GPU, odprowadzając ciepło przewodzeniem bez udziału powietrza jako medium pośredniego. Obsługuje gęstości rack od 30 do ponad 100 kW.
•  Rear-door heat exchangers (RDHx): Wymiennik ciepła chłodzony cieczą, montowany z tyłu standardowej szafy rack, przechwytuje gorące powietrze wylotowe, zanim ponownie trafi ono do pomieszczenia. Modyfikacje serwerów nie są wymagane. Najlepsze rozwiązanie dla szaf rack o mocy 10 do 30 kW.
•  Chłodzenie immersyjne: Serwery są całkowicie zanurzone w dielektrycznym, nieprzewodzącym płynie. Technologia obsługuje ekstremalne gęstości przekraczające 100 kW na zbiornik i całkowicie eliminuje wentylatory serwerowe.

Czytaj więcej: Chłodzenie centrów danych: jak nowoczesne systemy poprawiają efektywność i zrównoważony rozwój

Jakie są kluczowe różnice między chłodzeniem powietrzem a chłodzeniem cieczą?

Poniższa tabela podsumowuje główne różnice inżynieryjne i operacyjne między konwencjonalnym chłodzeniem powietrzem a najważniejszymi metodami chłodzenia cieczą dostępnymi dla zastosowań w centrach danych.

  

Kiedy warto rozważyć chłodzenie cieczą? Pięć czynników decyzyjnych

Nie istnieje jeden uniwersalny próg, który ma zastosowanie w każdym obiekcie. Na podstawie doświadczenia gbc engineers w projektach studiów wykonalności, projektowania i uruchamiania centrów danych można wskazać pięć wyraźnych sygnałów, że strategia chłodzenia cieczą jest uzasadniona.

1. Gęstość mocy rack przekracza 15 do 20 kW

To najbardziej jednoznaczny technicznie czynnik. ASHRAE TC 9.9 (2023) klasyfikuje szafy rack powyżej 20 kW jako wysoką gęstość i zaleca dla takich środowisk rozwiązania chłodzone wodą. Sprzęt akceleratorów AI, taki jak NVIDIA H100 (700 W na GPU) lub AMD Instinct MI300X, rutynowo przekracza ten próg na poziomie kaset serwerowych. Pojedyncza szafa NVIDIA GB200 NVL72 pobiera około 120 kW, co sprawia, że chłodzenie powietrzem jest fizycznie niewystarczające dla takich wdrożeń.

2. Celów PUE nie da się osiągnąć samym chłodzeniem powietrzem

Globalna średnia wartość PUE centrów danych wyniosła w 2023 roku 1,58 (Uptime Institute). Chłodzenie cieczą, połączone z free coolingiem lub koncepcją adiabatyczną, regularnie osiąga PUE na poziomie 1,02 do 1,15, zapewniając 20 do 40% redukcji rocznych kosztów energii na chłodzenie przy wysokich gęstościach. Dla operatorów z publicznymi celami zrównoważonego rozwoju lub obowiązkami regulacyjnymi ta luka efektywności staje się kwestią strategiczną.

3. Obciążenia AI i HPC rosną

Infrastruktura AI akcelerowana przez GPU jest głównym globalnym czynnikiem rynkowym przyspieszającym wdrażanie chłodzenia cieczą. Według McKinsey & Company (2024) zapotrzebowanie centrów danych związane z AI na energię elektryczną w samych Stanach Zjednoczonych może do 2030 roku osiągnąć 11,7% krajowego zużycia energii. Jeśli Twoja mapa rozwoju obejmuje trenowanie AI, inferencję dużych modeli językowych lub obciążenia high-performance computing, chłodzenie cieczą powinno być częścią planów projektowych już teraz, a nie dopiero opcją modernizacji.

4. Powierzchnia lub dostępna moc są ograniczone

Zwłaszcza chłodzenie immersyjne pozwala uzyskać znacznie większą moc obliczeniową na metr kwadratowy powierzchni niż konwencjonalne rzędy szaf rack chłodzone powietrzem. W obiektach kolokacyjnych lub korporacyjnych centrach danych o stałej kubaturze budynku może to odblokować istotne zwiększenie pojemności bez zmian konstrukcyjnych lub rozbudowy budynku.

5. Zobowiązania dotyczące zrównoważonego rozwoju i regulacji

Nowelizacja unijnej dyrektywy w sprawie efektywności energetycznej (EED) oraz korporacyjne zobowiązania net-zero zwiększają presję na operatorów centrów danych, aby wykazywali mierzalną poprawę efektywności. Chłodzenie cieczą, szczególnie w połączeniu z odzyskiem ciepła odpadowego, bezpośrednio wspiera poprawę PUE i szersze cele raportowania ESG. Kilka europejskich sieci ciepłowniczych już wykorzystało odzyskane ciepło z centrów danych chłodzonych cieczą.

Rekomendacja: Przed podjęciem decyzji o modernizacji chłodzenia należy zlecić audyt termiczny oraz model gęstości obciążeń dla obecnego i planowanego obiektu. Etapowa strategia hybrydowa, która zachowuje chłodzenie powietrzem dla standardowych obciążeń i wdraża chłodzenie cieczą w strefach wysokiej gęstości, zwykle zapewnia najlepszą równowagę między wydajnością, kosztem i ryzykiem operacyjnym.

Czytaj więcej: Jak zielone chłodzenie centrum danych zmniejsza zużycie energii

Dlaczego chłodzenie powietrzem nadal ma znaczenie w centrach danych?

Chłodzenie powietrzem nie jest technologią przestarzałą. Dla dużej części dzisiejszych środowisk centrów danych pozostaje właściwą technologią. W przypadku standardowych obciążeń korporacyjnych przy gęstości poniżej 10 do 15 kW na szafę rack jego zalety pozostają bardzo istotne:

• Niższe koszty inwestycyjne i operacyjne, bez potrzeby stosowania specjalistycznych obiegów cieczy, pętli wtórnych ani infrastruktury wykrywania wycieków
•  Prostota operacyjna, ponieważ woda nie znajduje się w pobliżu urządzeń IT, co ogranicza ryzyko i złożoność utrzymania
•  Uniwersalna kompatybilność sprzętowa, ponieważ wszystkie komercyjnie dostępne serwery są projektowane i objęte gwarancją dla chłodzenia powietrzem
•  Dojrzały łańcuch dostaw z dobrze rozwiniętymi sieciami serwisowymi, częściami zamiennymi i przeszkolonymi zasobami inżynieryjnymi

Dla organizacji, które w najbliższym czasie nie planują wdrażania obciążeń AI intensywnie wykorzystujących GPU, inwestycja w infrastrukturę chłodzenia cieczą może nie mieć uzasadnienia finansowego. Stanowisko gbc engineers jest jasne: decyzja powinna zawsze wynikać z dowodów inżynieryjnych i danych o obciążeniach, a nie z trendów rynkowych czy presji dostawców.

Jak chłodzenie powietrzem i chłodzenie cieczą wypadają kosztowo?

Poniższa tabela przedstawia orientacyjne benchmarki kosztowe dla różnych podejść do chłodzenia w reprezentatywnym centrum danych o obciążeniu IT 1 MW. Wszystkie wartości mają charakter orientacyjny i mogą znacząco różnić się w zależności od lokalizacji, typu obiektu i zakresu projektu.

 

Praktyczne ramy decyzyjne dla operatorów centrów danych

Poniższy uporządkowany proces odzwierciedla podejście gbc engineers w projektach studiów wykonalności, projektowania i uruchamiania centrów danych. Zastosowanie go na etapie projektowania, a nie reaktywnie, konsekwentnie prowadzi do lepszych wyników w zakresie kosztów, harmonogramu i ryzyka.

• Przeanalizuj aktualne i prognozowane gęstości mocy rack we wszystkich strefach IT
•  Zidentyfikuj strefy wysokiej gęstości przekraczające 10 do 15 kW na szafę rack, które mogą wymagać dodatkowego lub dedykowanego chłodzenia
•  Oceń ograniczenia obiektu: dostępną moc, obciążenia stropów, dostęp do wody i konstrukcję budynku
•  Zamodeluj uzasadnienie finansowe, obejmujące capex, opex, poprawę PUE i okres zwrotu dla każdej opcji chłodzenia
•  Zweryfikuj mapę rozwoju obciążeń AI, HPC lub GPU na kolejne 3 do 5 lat
•  Zdefiniuj strategię jako air-only, hybrydową lub liquid-primary, a następnie opracuj etapowy plan wdrożenia zgodny z cyklami odświeżania sprzętu i budżetami inwestycyjnymi

Czytaj więcej: Systemy chłodzenia centrów danych: kluczowe wyzwania, rozwiązania i wpływ chłodzenia na konstrukcję

Podsumowanie

Chłodzenie powietrzem i chłodzenie cieczą nie są rozwiązaniami konkurencyjnymi. To technologie komplementarne, odpowiednie dla różnych środowisk obciążeń. Chłodzenie powietrzem pozostaje optymalnym wyborem dla standardowych wdrożeń korporacyjnych. Chłodzenie cieczą stało się niezbędne dla infrastruktury AI, high-performance computing oraz każdego obiektu planującego gęstości powyżej 20 kW na szafę rack.

Kluczowym krokiem jest dokładne modelowanie obciążeń. Organizacje, które rozumieją swoje obecne i przyszłe wymagania dotyczące gęstości oraz odpowiednio planują infrastrukturę chłodzenia, będą lepiej przygotowane do kontroli kosztów, realizacji celów efektywnościowych i pewnego skalowania.

Najczęściej zadawane pytania

Poniżej znajdują się krótkie odpowiedzi na najczęstsze pytania dotyczące nowoczesnego chłodzenia centrów danych:

Jaka jest różnica między chłodzeniem powietrzem a chłodzeniem cieczą w centrum danych?

Chłodzenie powietrzem wykorzystuje cyrkulujące uzdatnione powietrze do odprowadzania ciepła z serwerów. Chłodzenie cieczą wykorzystuje wodę lub płyny dielektryczne, które przenoszą ciepło około cztery razy efektywniej niż powietrze. Chłodzenie cieczą obsługuje znacznie wyższe gęstości rack i niższe wartości PUE, ale wymaga bardziej złożonej infrastruktury i wyższej inwestycji początkowej. Dla standardowych obciążeń korporacyjnych poniżej 15 kW na szafę rack chłodzenie powietrzem pozostaje najbardziej opłacalnym rozwiązaniem.

Kiedy centrum danych powinno przejść na chłodzenie cieczą?

Chłodzenie cieczą staje się konieczne, gdy gęstości mocy rack przekraczają 15 do 20 kW na szafę rack, gdy celów PUE nie można osiągnąć samym chłodzeniem powietrzem lub gdy wdrażane są obciążenia AI, GPU lub HPC. Zobowiązania dotyczące zrównoważonego rozwoju, ograniczenia powierzchni oraz wymagania regulacyjne w zakresie efektywności również często napędzają tę zmianę.

Czy chłodzenie powietrzem nadal sprawdza się w nowoczesnych centrach danych?

Tak. Dla standardowych obciążeń korporacyjnych o gęstości poniżej 10 do 15 kW na szafę rack chłodzenie powietrzem pozostaje skutecznym i kosztowo efektywnym rozwiązaniem. Oferuje niższe koszty inwestycyjne, prostszą obsługę i uniwersalną kompatybilność sprzętową. Większość centrów danych na świecie nadal opiera się na chłodzeniu powietrzem dla większości obciążenia IT.

Czym jest direct liquid cooling (DLC) w centrum danych?

Direct liquid cooling (DLC) polega na cyrkulacji czynnika chłodzącego przez cold plates zamontowane na procesorach i GPU, co pozwala odprowadzać ciepło przewodzeniem bez powietrza jako medium pośredniego. Systemy DLC obsługują gęstości rack od 30 do ponad 100 kW i są najczęściej wdrażaną technologią chłodzenia cieczą w środowiskach AI oraz centrach danych o wysokiej gęstości.

Jak chłodzenie cieczą poprawia PUE centrum danych?

Chłodzenie cieczą obniża PUE, ograniczając lub eliminując energochłonne urządzenia chłodnicze oparte na sprężarkach oraz umożliwiając pracę w trybie economizer/free cooling przez większą część roku. Najlepsze obiekty chłodzone cieczą osiągają PUE na poziomie 1,02 do 1,10, w porównaniu z 1,4 do 1,8 dla konwencjonalnych projektów chłodzonych powietrzem. Oznacza to istotne zmniejszenie kosztów energii na chłodzenie.

Czy chłodzenie cieczą można wdrożyć w istniejącym centrum danych chłodzonym powietrzem?

Tak, w większości przypadków. Rear-door heat exchangers są najprostszą opcją modernizacji i nie wymagają modyfikacji serwerów. Direct liquid cooling można zintegrować z istniejącymi obiektami, ale wymaga nowych wtórnych obiegów chłodziwa oraz przeglądu kompatybilności sprzętowej. Pełne chłodzenie immersyjne jest najbardziej praktyczne w nowych obiektach lub dużych modernizacjach ze względu na wymagania konstrukcyjne i przestrzenne.

Jakie są ryzyka związane z chłodzeniem cieczą w centrum danych?

Główne ryzyka to wycieki cieczy w pobliżu urządzeń IT, większa złożoność systemu oraz potrzeba specjalistycznej wiedzy operacyjnej i utrzymaniowej. W prawidłowo zaprojektowanych systemach ryzyka te są kontrolowane poprzez wykrywanie wycieków, zabezpieczenia przed kapaniem, izolowane obiegi wtórne i kompleksowe uruchomienie. Przed określeniem modyfikacji związanych z chłodzeniem cieczą należy również omówić z dostawcami wpływ na gwarancje sprzętu.

Czy chłodzenie cieczą jest droższe niż chłodzenie powietrzem?

Chłodzenie cieczą zazwyczaj wiąże się z kosztami inwestycyjnymi wyższymi o 30 do 150% niż chłodzenie powietrzem, w zależności od wybranej technologii. Przy wysokich gęstościach rack zapewnia jednak znaczące oszczędności operacyjne dzięki poprawie PUE i niższemu zużyciu energii. Okres zwrotu 4 do 8 lat jest typowy dla systemów direct liquid cooling przy obecnych cenach energii, a uzasadnienie biznesowe wzmacnia się wraz ze wzrostem gęstości rack i kosztów energii.

Które firmy są liderami w chłodzeniu cieczą dla centrów danych?

Główni operatorzy hyperscale, w tym Google, Microsoft, Meta i AWS, wdrożyli chłodzenie cieczą na dużą skalę dla obciążeń AI. Operatorzy ci są często przywoływani w benchmarkach branżowych i studiach przypadków dużych wdrożeń. W sektorze kolokacji Equinix, Digital Realty i CyrusOne ogłosiły obiekty gotowe na chłodzenie cieczą. Dostawcy sprzętu aktywni w tym obszarze to między innymi Vertiv, Schneider Electric, CoolIT Systems, Asetek i Submer.

Czy chłodzenie cieczą jest wymagane dla centrów danych AI?

Dla trenowania AI i wielkoskalowej inferencji z wykorzystaniem obecnych platform GPU chłodzenie cieczą coraz częściej jest warunkiem koniecznym, a nie opcją. Najnowsze platformy akceleratorów NVIDIA, w tym H100, H200 i GB200, są projektowane z chłodzeniem cieczą jako podstawową ścieżką zarządzania temperaturą. Obiekty bez możliwości chłodzenia cieczą będą stopniowo coraz bardziej ograniczone w obsłudze infrastruktury AI wraz ze wzrostem gęstości sprzętu.

 

O nas gbc engineers to międzynarodowe biuro inżynierskie z oddziałami w Niemczech, Polsce i Wietnamie, które zrealizowało ponad 10 000 projektów na całym świecie. Świadczymy usługi w zakresie inżynierii konstrukcyjnej, projektowania centrów danych, inżynierii infrastruktury i mostów, BIM & Scan-to-BIM oraz zarządzania budową. Łącząc niemiecką jakość inżynieryjną z międzynarodowym doświadczeniem, dostarczamy klientom zrównoważone, bezpieczne i efektywne rozwiązania.