Direct-to-Chip vs Chłodzenie Immersyjne: Który System Chłodzenia Cieczą Pasuje Do Twojego Centrum Danych?

Sprawdzone przez: Yoan Guyon, Dyrektor Zarządzający w gbc engineers

Serwery AI i HPC zwiększyły moc szaf z 5-15 kW do 50 kW, 100 kW lub więcej. Przy takich gęstościach tradycyjne chłodzenie powietrzem traci zapas wydajności.

W tym artykule gbc engineers porównuje chłodzenie Direct-to-Chip (DTC) i chłodzenie immersyjne z perspektywy inżynieryjnej oraz operacyjnej. Celem jest pomoc właścicielom, operatorom i zespołom projektowym centrów danych w zrozumieniu, jak działają oba systemy, gdzie sprawdzają się najlepiej i co należy sprawdzić przed inwestycją.

Jaka jest różnica między Direct-to-Chip a chłodzeniem immersyjnym?

Direct-to-Chip vs chłodzenie immersyjne nie jest prostym pytaniem o to, która technologia jest lepsza. Chłodzenie Direct-to-Chip odbiera ciepło z procesorów i akceleratorów przez cold plates, podczas gdy pozostała część serwera nadal korzysta z przepływu powietrza. Chłodzenie immersyjne zanurza płytę serwera w płynie dielektrycznym, dzięki czemu znacznie większa część komponentów jest chłodzona bezpośrednio cieczą.

W większości centrów danych właściwy wybór zależy od gęstości szaf, kompatybilności serwerów, ograniczeń retrofit, kompetencji utrzymaniowych, celów energetycznych i długoterminowej mapy IT. Chłodzenie Direct-to-Chip jest zwykle łatwiejsze do wprowadzenia w istniejących środowiskach. Chłodzenie immersyjne staje się bardziej atrakcyjne, gdy planowane są stale bardzo wysokie gęstości i nowy model operacyjny.

Jak działa chłodzenie Direct-to-Chip

Chłodzenie Direct-to-Chip umieszcza cold plate bezpośrednio na pakiecie CPU, GPU lub akceleratora. Mieszanina wody i glikolu albo inny techniczny czynnik chłodzący przepływa przez mikrokanaliki w cold plate, odbiera ciepło u źródła i przekazuje je do Coolant Distribution Unit, czyli CDU, albo do wtórnego obiegu cieczy.

Technologia cold plate i integracja CDU

Technologia cold plate jest podstawą chłodzenia Direct-to-Chip. Płyta musi ściśle przylegać do pakietu układu, skutecznie przenosić ciepło i utrzymywać niezawodny docisk podczas powtarzalnych cykli cieplnych. W przypadku AI data center cooling projekt cold plate musi również odpowiadać profilowi cieplnemu nowoczesnych GPU, CPU i akceleratorów.

CDU kontroluje temperaturę, ciśnienie i przepływ czynnika chłodzącego. Oddziela obieg serwerowy od obiegu wodnego budynku, chroniąc sprzęt IT przed wahaniami ciśnienia i zdarzeniami serwisowymi.

Kluczowe komponenty systemu DTC

• Cold plates montowane bezpośrednio na pakietach CPU, GPU lub akceleratorów
• Coolant Distribution Units do kontroli przepływu, ciśnienia i temperatury
• Szybkozłącza umożliwiające serwis serwera przy minimalnym kontakcie z czynnikiem chłodzącym
• Kolektory szafowe rozprowadzające czynnik chłodzący do wielu serwerów
• Integracja z instalacją budynkową: wodą lodową, obiegami ciepłej wody, dry coolerami lub wymiennikami rear-door

Jak działa chłodzenie immersyjne w centrach danych

Chłodzenie immersyjne działa inaczej. Zamiast doprowadzać ciecz wyłącznie do najgorętszych układów, zanurza płytę serwera w płynie dielektrycznym, który nie przewodzi prądu i dobrze przenosi ciepło. Płyn odbiera ciepło bezpośrednio z procesorów, pamięci, elektroniki mocy i innych komponentów.

Tak szeroki zakres odbioru ciepła sprawia, że chłodzenie immersyjne może obsługiwać bardzo wysokie gęstości szaf i zbiorników. Zmienia jednak model operacyjny. Obsługa serwerów, przegląd gwarancji, monitoring płynu, układ zbiorników, obciążenia stropów i containment stają się częścią decyzji projektowej.

Istnieją dwa główne typy systemów chłodzenia immersyjnego. Zrozumienie różnicy jest ważne przy ocenie, który z nich pasuje do danego środowiska operacyjnego:

Chłodzenie immersyjne jednofazowe

W systemach jednofazowych płyn dielektryczny pozostaje cieczą przez cały czas pracy. Ciepły płyn przepływa przez wymiennik ciepła, jest schładzany i wraca do zbiornika. To bardziej dojrzała i łatwiejsza w obsłudze forma chłodzenia immersyjnego, ponieważ zachowanie systemu jest przewidywalne, a kontrola płynu mniej złożona.

Chłodzenie immersyjne jednofazowe jest często rozważane dla klastrów GPU o wysokiej gęstości, środowisk badawczych, wdrożeń edge i obiektów, które chcą osiągnąć wysoką efektywność energetyczną bez przechodzenia od razu do złożoności systemów dwufazowych.

Chłodzenie immersyjne dwufazowe

Chłodzenie immersyjne dwufazowe wykorzystuje płyn dielektryczny o niskiej temperaturze wrzenia. Płyn paruje przy kontakcie z gorącymi komponentami, para unosi się do skraplacza, a następnie wraca do zbiornika jako ciecz. Proces zmiany fazy może zapewniać bardzo wysokie tempo wymiany ciepła, dlatego nadaje się do ekstremalnych gęstości mocy.

Kompromisem jest większa złożoność. Systemy dwufazowe wymagają szczelnej pracy, starannego doboru płynu, rygorystycznego containment i specjalistycznych procedur serwisowych. Ponieważ część starszych płynów jest zastępowana ze względów środowiskowych i łańcucha dostaw, zespoły projektowe powinny sprawdzić dostępność płynu, rozwój regulacji i długoterminową możliwość dostaw.

Dobór i zarządzanie płynem dielektrycznym dotyczą obu typów immersji, chociaż wymagania są ostrzejsze dla systemów dwufazowych. Płyny muszą być nieprzewodzące, stabilne chemicznie i kompatybilne z materiałami elektronicznymi przez długie cykle cieplne. Operatorzy potrzebują też procedur kontroli zanieczyszczeń, pobierania próbek, uzupełniania i utylizacji.

Czytaj więcej: Chłodzenie centrum danych: jak nowoczesne systemy poprawiają efektywność i zrównoważony rozwój

Direct-to-Chip vs chłodzenie immersyjne: porównanie obok siebie

Kryterium	Direct-to-Chip (DTC)	Chłodzenie immersyjne
Metoda chłodzenia	Cold plate na CPU lub GPU, przepływ powietrza dla pozostałych komponentów	Płyta serwera zanurzona w płynie dielektrycznym
Zakres odbioru ciepła	Główne komponenty generujące ciepło	Większość lub wszystkie zanurzone komponenty
Typowy zakres gęstości szaf	30-100 kW na szafę	50-250+ kW na szafę, zależnie od typu systemu
Wymagana technologia cold plate	Tak	Nie
Wentylatory serwerowe	Nadal częściowo wymagane	Zwykle ograniczone lub usunięte
Przydatność do retrofit	Zwykle lepsza dla istniejących centrów danych	Trudniejsza, zwykle wymaga większej przebudowy
Model utrzymania	Szafowy i bliższy znanym procesom	Zbiornikowy lub podowy z obsługą płynu
Typowe zastosowanie	Etapowe zwiększanie AI/HPC, mieszane gęstości	Bardzo wysokie gęstości, obiekty greenfield, dedykowane klastry AI/HPC

 

Gęstość szaf i obciążenia AI/HPC

Gęstość szaf jest zwykle pierwszym czynnikiem decyzyjnym. Wiele istniejących centrów danych enterprise zaprojektowano pod szafy chłodzone powietrzem w zakresie 5-15 kW. Obciążenia AI i HPC zmieniają tę podstawę, ponieważ serwery GPU koncentrują więcej mocy i ciepła w mniejszej liczbie jednostek rack.

Dla strategii high density rack cooling średnia gęstość pomieszczenia jest mniej przydatna niż szczytowa gęstość pojedynczych szaf. Obiekt może wyglądać na możliwy do obsługi przy średniej 10 kW na szafę, podczas gdy kilka szaf AI w tym samym pomieszczeniu wymaga 80 kW lub więcej. To te szczytowe obciążenia decydują, czy potrzebne jest chłodzenie Direct-to-Chip, immersyjne czy hybrydowe.

Wytyczne dotyczące gęstości według podejścia do chłodzenia

• Chłodzenie Direct-to-Chip jest zwykle odpowiednie dla 30-100 kW na szafę, jeśli dostępne jest wsparcie OEM i integracja z wodną instalacją budynkową
• Chłodzenie immersyjne jednofazowe może być skuteczne od około 50-150 kW na szafę lub równoważnej gęstości zbiornika
• Chłodzenie immersyjne dwufazowe jest najbardziej istotne, gdy gęstości stale przekraczają 100 kW, a operator potrafi zarządzać złożonością szczelnego systemu
• Hybrydowe środowiska powietrzno-cieczowe są praktyczne, gdy tylko część obciążenia IT ma wysoką gęstość

Efektywność energetyczna, PUE i zrównoważony rozwój

Power Usage Effectiveness (PUE) jest najczęściej stosowaną miarą efektywności centrów danych. Chłodzenie cieczą może ograniczyć energię wentylatorów i zależność od sprężarek, dlatego DTC i chłodzenie immersyjne często osiągają niższe wartości PUE niż tradycyjne obiekty chłodzone powietrzem. Dokładna poprawa zależy od klimatu, odprowadzania ciepła, pracy przy częściowym obciążeniu, redundancji i udziału obciążenia IT rzeczywiście chłodzonego cieczą.

CAPEX, OPEX i całkowity koszt posiadania

Porównanie kosztów między chłodzeniem Direct-to-Chip a chłodzeniem immersyjnym nie dotyczy tylko ceny zakupu. Lepsze pytanie brzmi, jak CAPEX, OPEX, ryzyko wdrożenia i wartość w cyklu życia łączą się w przewidywanym okresie eksploatacji.

Profil kosztowy chłodzenia Direct-to-Chip

• Niższy koszt infrastruktury początkowej niż pełna immersja w większości projektów retrofit
• Dobra kompatybilność ze standardowymi serwerami OEM, gdy dostępne są konfiguracje cold plate
• CDU, kolektory, rurociągi i monitoring to główne pozycje CAPEX
• Utrzymanie jest bliższe znanym procesom serwerowym i mechanicznym
• Najlepsza pozycja TCO dla mniejszej skali, wdrożeń etapowych i obiektów o mieszanej gęstości

Profil kosztowy chłodzenia immersyjnego

• Wyższy początkowy CAPEX na zbiorniki, zapas płynu dielektrycznego, containment i zmodyfikowaną obsługę IT
• Potencjalnie niższy OPEX energii w dużej skali, ponieważ może być potrzebne mniej ruchu powietrza i mniej chłodzenia mechanicznego
• Dodatkowy OPEX na testowanie płynu, uzupełnianie, szkolenie personelu i specjalistyczne procedury serwisowe
• Najlepsza pozycja TCO tam, gdzie obciążenia o wysokiej gęstości są stabilne, duże i planowane od początku

  Zasadniczo DTC często oferuje niższy całkowity koszt posiadania w mniejszej skali i w scenariuszach retrofit. Chłodzenie immersyjne zapewnia silniejszą ekonomię długoterminową w dużych wdrożeniach greenfield, gdzie oszczędności energii kumulują się przez lata eksploatacji.

Retrofit, skalowalność i niezawodność

Wybór właściwego systemu chłodzenia to tylko połowa decyzji. Budynek musi być w stanie go obsłużyć.

Retrofit istniejących centrów danych

Chłodzenie Direct-to-Chip jest zwykle bardziej praktyczną opcją retrofit. Może być wprowadzane szafa po szafie, często w standardowych obudowach, i pozwala operatorom zachować chłodzenie powietrzem dla obszarów o niższej gęstości. Projekt nadal wymaga dokładnej analizy lokalizacji CDU, tras rurociągów, prowadzenia pod podłogą lub nad szafami, detekcji wycieków i odprowadzania ciepła.

Chłodzenie immersyjne jest trudniejsze do wdrożenia w istniejącym obiekcie. Zbiorniki mogą być ciężkie, wymagają nowych przestrzeni roboczych i często wymuszają zmiany w strategii elektrycznej oraz pożarowej. Dlatego immersja jest zwykle najmocniejsza w obiektach greenfield, dedykowanych salach AI, modułach kontenerowych lub dużych modernizacjach.

Kwestie skalowalności

DTC dobrze się skaluje, gdy operator chce stopniowo zwiększać gęstość. Kolejne szafy chłodzone cieczą można dodawać wraz ze wzrostem obciążeń, pod warunkiem że pojemność CDU, rurociągi i system odprowadzania ciepła zaplanowano z rezerwą na rozbudowę.

Immersja skaluje się inaczej. Może zapewnić bardzo wysoką gęstość na metr kwadratowy, ale jednostką skalowania jest często zbiornik, moduł lub pod, a nie pojedyncza szafa. Może to być efektywne dla dużych wdrożeń AI lub HPC, lecz wymaga silniejszej koordynacji między zakupami IT, projektem obiektu i procesami operacyjnymi.

Złożoność utrzymania i niezawodność

Systemy DTC wprowadzają ciecz bliżej elektroniki, dlatego detekcja wycieków, jakość połączeń i dyscyplina serwisowa są kluczowe. Jednocześnie szybkozłącza i znane procesy szafowe sprawiają, że zmiana operacyjna jest możliwa do opanowania dla wielu zespołów centrów danych.

Chłodzenie immersyjne usuwa większość wentylatorów serwerowych, co może zmniejszyć liczbę mechanicznych punktów awarii. Jednocześnie wprowadza nowe kwestie niezawodności: czystość płynu, kompatybilność materiałową, dostęp do zbiorników, procedury suszenia komponentów i warunki gwarancji.

Czytaj więcej: Chłodzenie powietrzem vs. chłodzenie cieczą w centrach danych: kiedy warto dokonać zmiany?

Ramy decyzyjne: wybór właściwego rozwiązania

Poniższe wskazówki odzwierciedlają typowe sytuacje planistyczne w centrach danych, a nie jedną uniwersalną odpowiedź.

Kiedy chłodzenie Direct-to-Chip jest najbardziej odpowiednie

• Istniejące centra danych dodające pojemność AI lub HPC bez pełnej przebudowy obiektu
• Pomieszczenia o mieszanej gęstości, gdzie tylko wybrane szafy przekraczają granice chłodzenia powietrzem
• Obiekty wymagające kompatybilności ze standardowymi serwerami OEM i znanych procesów serwisowych
• Projekty, w których priorytetem są szybkie wdrożenie i etapowe inwestowanie
• Operatorzy dążący do znacznej poprawy efektywności bez zmiany całego modelu obsługi IT

Kiedy chłodzenie immersyjne jest najbardziej odpowiednie

• Obiekty AI lub HPC typu greenfield projektowane od początku pod ultra wysoką gęstość
• Dedykowane klastry treningowe GPU o stałym wysokim wykorzystaniu
• Lokalizacje, w których efektywność powierzchni i niska energia wentylatorów są głównymi priorytetami
• Operatorzy posiadający umiejętności, procedury i wsparcie dostawców do zarządzania płynami dielektrycznymi
• Projekty, w których długoterminowa efektywność energetyczna może uzasadnić wyższy początkowy CAPEX

Kiedy strategia hybrydowa ma sens

Strategia hybrydowa jest często najbardziej realistyczną drogą. Standardowe obliczenia mogą pozostać chłodzone powietrzem, szafy o średniej i wysokiej gęstości mogą przejść na Direct-to-Chip, a najbardziej wymagające klastry AI lub HPC można zaplanować pod immersję tam, gdzie jest to uzasadnione. Takie podejście ogranicza ryzyko, ponieważ obiekt wprowadza chłodzenie cieczą tam, gdzie przynosi ono największą wartość.

Wniosek

Direct-to-Chip i chłodzenie immersyjne są dwiema ważnymi odpowiedziami na ten sam problem: nowoczesne centra danych muszą odprowadzać znacznie więcej ciepła z dużo mniejszej powierzchni. DTC jest zwykle praktycznym i skalowalnym wyborem dla projektów retrofit, pomieszczeń o mieszanej gęstości i wdrożeń AI kompatybilnych z OEM. Immersja staje się silniejsza, gdy gęstość, ograniczona powierzchnia i długoterminowa efektywność energetyczna uzasadniają większą zmianę operacyjną.

Najlepsza decyzja wynika z oceny konkretnego projektu: gęstości szaf, ograniczeń obiektu, strategii wodnej, nośności konstrukcji, kompetencji utrzymaniowych i kosztów cyklu życia. gbc engineers wspiera właścicieli centrów danych i zespoły projektowe w sprawdzaniu tych interfejsów na wczesnym etapie, zanim decyzje dotyczące chłodzenia staną się kosztownym ograniczeniem w budowie lub eksploatacji.

Najczęściej zadawane pytania

Czy chłodzenie Direct-to-Chip wystarcza dla obciążeń AI?

Tak, w wielu przypadkach. Chłodzenie Direct-to-Chip może obsługiwać wiele wdrożeń AI i HPC, gdy gęstości szaf mieszczą się w zakresie 30-100 kW i dostępne są odpowiednie serwery z cold plates. Przy gęstościach stale powyżej 100 kW chłodzenie immersyjne lub dedykowana architektura chłodzenia cieczą może zapewnić lepsze wyniki długoterminowe.

Jaka jest główna różnica operacyjna między immersją jednofazową i dwufazową?

Immersja jednofazowa utrzymuje płyn dielektryczny w formie ciekłej i jest zwykle łatwiejsza w zarządzaniu. Immersja dwufazowa wykorzystuje wrzenie i kondensację, co może zwiększyć transfer ciepła, ale wymaga bardziej rygorystycznego containment, doboru płynu i kontroli serwisowej.

Czy chłodzenie immersyjne można wdrożyć w istniejącym centrum danych?

Można je wdrożyć, ale zwykle jest to duża modernizacja, a nie prosta wymiana szafy. Zespół projektowy musi sprawdzić nośność stropu, dostęp do zbiorników, układ elektryczny, containment, strategię pożarową, procedury obsługi płynu i warunki gwarancji serwerów. Chłodzenie Direct-to-Chip jest zwykle łatwiejsze do wdrożenia w istniejących środowiskach.

Która opcja jest bardziej zrównoważona?

Obie mogą poprawić zrównoważony rozwój w porównaniu z konwencjonalnym chłodzeniem powietrzem. DTC może zmniejszyć energię wentylatorów i umożliwić pracę z cieplejszą wodą. Chłodzenie immersyjne może jeszcze bardziej ograniczyć energię wentylatorów i zmniejszyć zużycie wody, gdy jest połączone z zamkniętym obiegiem odprowadzania ciepła. Lepsza opcja zależy od lokalnego klimatu, miksu energetycznego, dostępności wody, potencjału odzysku ciepła i profilu obciążenia.

Co należy sprawdzić przed wyborem systemu chłodzenia cieczą?

Kluczowe kontrole obejmują obecną i przyszłą gęstość szaf, mapę obciążeń AI i HPC, kompatybilność serwerów OEM, miejsce na CDU lub zbiorniki, obciążenia stropów, temperatury wody instalacyjnej, wymagania redundancji, kompetencje serwisowe, detekcję wycieków, CAPEX, OPEX i cele zrównoważonego rozwoju.

Czy chłodzenie cieczą całkowicie eliminuje potrzebę chłodzenia powietrzem?

Nie zawsze. Chłodzenie Direct-to-Chip nadal wymaga przepływu powietrza dla części serwera i obciążeń pomieszczenia. Chłodzenie immersyjne może usunąć większość wymagań dotyczących wentylatorów serwerowych, ale obiekt może nadal potrzebować zarządzania powietrzem dla urządzeń zasilania, obszarów sieciowych, przestrzeni serwisowych i komfortu personelu.

 

O nas gbc engineers to międzynarodowe biuro inżynierskie z oddziałami w Niemczech, Polsce i Wietnamie, które zrealizowało ponad 10 000 projektów na całym świecie. Świadczymy usługi w zakresie inżynierii konstrukcyjnej, projektowania centrów danych, inżynierii infrastruktury i mostów, BIM & Scan-to-BIM oraz zarządzania budową. Łącząc niemiecką jakość inżynieryjną z międzynarodowym doświadczeniem, dostarczamy klientom zrównoważone, bezpieczne i efektywne rozwiązania.