Sprawdzone przez Yoan Guyon, Managing Director w gbc engineers
Większość działających dziś centrów danych nie była projektowana z myślą o chłodzeniu cieczą. Powstawały dla obciążeń rzędu 5 do 15 kW na rack, standardowych jednostek CRAC i serwerów chłodzonych powietrzem. Infrastruktura AI zmieniła profil obciążeń szybciej, niż wiele istniejących budynków jest w stanie to przyjąć.
W tym artykule gbc engineers analizuje decyzję między modernizacją a nową budową pod chłodzenie cieczą: co faktycznie oznacza retrofit, gdzie działa, gdzie zawodzi oraz jakie ryzyka konstrukcyjne i operacyjne operatorzy powinni ocenić przed podjęciem decyzji inwestycyjnej.
Dlaczego decyzja o retroficie staje się dziś konieczna
Global Data Center Survey 2024 przygotowane przez Uptime Institute pokazuje wzrost gęstości mocy racków, mimo że średnia branżowa w wielu obiektach nadal pozostaje poniżej 8 kW na rack. Wdrożenia AI i HPC są jednak wyjątkiem, który silnie obciąża projekt infrastruktury.
ASHRAE TC 9.9 wskazuje, że niezawodne projektowanie chłodzenia powietrzem staje się trudniejsze wraz ze wzrostem gęstości racków i wymagań dotyczących przepływu powietrza przez serwery. Praktyczne trudności pojawiają się często powyżej około 30 kW na rack.
Dla operatorów istniejących obiektów tworzy to realny dylemat CapEx. Wyłączenie z eksploatacji niedawno amortyzowanego budynku i rozpoczęcie od nowa jest kosztowne i często niepotrzebne. Jednocześnie modernizacja centrum danych chłodzonego powietrzem pod chłodzenie cieczą może ujawnić ograniczenia konstrukcyjne, ryzyka operacyjne i nowe koszty.
Dyrektywa UE w sprawie efektywności energetycznej oraz rozporządzenie delegowane Komisji (UE) 2024/1364 dodają kolejny czynnik. Operatorzy powyżej odpowiednich progów raportowania muszą przekazywać określone wskaźniki efektywności energetycznej. Decyzja retrofit vs nowa budowa nie jest więc wyłącznie kwestią chłodzenia, lecz także zgodności, niezawodności operacyjnej i długoterminowej strategii aktywów.
Czytaj więcej: Czy PUE poniżej 1,2 jest naprawdę osiągalne? Fizyka budynku a projektowanie chłodzenia centrum danych
Trzy podejścia do modernizacji chłodzenia cieczą
Wdrożenie chłodzenia cieczą w istniejącym centrum danych chłodzonym powietrzem może przybrać różne formy. Kluczowe znaczenie ma wybrana technologia, zakres zmian w infrastrukturze oraz to, czy prace muszą odbywać się przy działającym obiekcie.
Rear-Door Heat Exchangers (RDHx)
Jednostki RDHx montuje się z tyłu istniejących racków, aby schłodzić powietrze wylotowe, zanim wróci ono do pomieszczenia. Nie wymagają modyfikacji serwerów, wykorzystują istniejące obudowy racków i łączą się z systemem wody technologicznej obiektu. Dla wielu operatorów RDHx jest najmniej inwazyjnym wejściem w wyższe gęstości racków.
Chłodzenie Direct-to-Chip (DTC)
Chłodzenie Direct-to-Chip umieszcza cold plates bezpośrednio na procesorach CPU, GPU lub akceleratorach. Czynnik chłodzący przepływa przez cold plate do jednostki Coolant Distribution Unit (CDU), która kontroluje temperaturę, ciśnienie i przepływ między sprzętem IT a systemem wody technologicznej obiektu.
Chłodzenie immersyjne
Chłodzenie immersyjne zanurza płyty serwerowe w zbiornikach z płynem dielektrycznym. Jest to najbardziej ingerencyjna opcja modernizacji, ponieważ zastępuje standardowe racki zbiornikami, usuwa serwery z tradycyjnych obudów i wymaga nowych procedur serwisowych. Przy ekstremalnych gęstościach może być uzasadnione, ale zwykle wymaga bardzo świadomej strategii infrastrukturalnej.
Czytaj więcej: Direct-to-Chip vs Chłodzenie Immersyjne: Który System Chłodzenia Cieczą Pasuje Do Twojego Centrum Danych?
Decyzja rzadko jest zero-jedynkowa. Większość operatorów znajduje się pomiędzy pełnym retrofitem a pełną nową budową, ponieważ oba skrajne scenariusze tylko częściowo odpowiadają typowym ograniczeniom finansowym i operacyjnym.
|
Czynnik
|
Retrofit
|
Nowa budowa
|
|
Początkowe nakłady inwestycyjne
|
Niższe, ponieważ istniejąca konstrukcja jest ponownie wykorzystywana
|
Wyższe, ponieważ wymagana jest pełna inwestycja budowlana
|
|
Czas do uruchomienia
|
Szybszy przy wdrożeniu etapowym
|
Dłuższy czas przygotowania ze względu na projektowanie i budowę
|
|
Elastyczność konstrukcyjna
|
Ograniczona przez istniejące stropy, układ słupów i system podłogi podniesionej
|
Pełna kontrola projektowa od początku
|
|
Maksymalna gęstość racków
|
30 do 100+ kW przy DTC, bardziej ograniczona przy immersji
|
Projektowana od początku pod docelową gęstość
|
|
Zakłócenia operacyjne
|
Może być złożony przy działającym obiekcie
|
Niższe dla istniejących operacji, jeśli moc powstaje równolegle
|
|
Efektywność cyklu życia
|
Zależna od istniejącej infrastruktury i pracy przy częściowym obciążeniu
|
Może być optymalizowana pod docelowe PUE, WUE i odzysk ciepła
|
|
Najlepszy przypadek użycia
|
Istniejący obiekt z wystarczającą nośnością, przestrzenią i systemem wody technologicznej
|
Bardzo wysokie gęstości, nowe hale AI lub długoterminowa strategia kampusu
|
|
Główne ryzyko
|
Ukryte ograniczenia konstrukcyjne i operacyjne
|
Wyższy CapEx, dłuższy harmonogram i zależność od lokalizacji
|
Konsekwencje konstrukcyjne modernizacji pod chłodzenie cieczą
To obszar, w którym gbc engineers może odwołać się do bezpośredniego doświadczenia projektowego. Decyzje dotyczące chłodzenia, które na początku wyglądają jak kwestie wyłącznie MEP, regularnie tworzą konsekwencje konstrukcyjne widoczne dopiero późno, gdy projekt, zakupy lub harmonogram budowy są już zaawansowane.
Obciążenie podłogi i ciężar CDU
Jednostki CDU dla systemów DTC są ciężkie. Urządzenie obsługujące pętlę chłodzenia 250 do 500 kW waży zwykle 400 do 800 kg, zależnie od producenta i konfiguracji pomp. W środowiskach z podłogą podniesioną nie jest to wyłącznie kwestia ustawienia urządzenia.
Starsze systemy podłóg podniesionych mogą szybko zbliżyć się do swoich limitów nośności, jeśli łącznie uwzględni się ciężar CDU, kolektory i wtórne orurowanie. Parametry producentów różnią się znacznie, a wiele powszechnie stosowanych systemów nie było projektowanych na skoncentrowane obciążenia infrastruktury chłodzenia cieczą.
Ocena konstrukcyjna podłogi podniesionej i znajdującej się pod nią płyty betonowej powinna nastąpić przed zatwierdzeniem lokalizacji CDU w projekcie MEP, a nie po nim.
Przebicia w stropach i prowadzenie rur
Systemy DTC wymagają rur zasilających i powrotnych prowadzonych od CDU do kolektorów przy rackach. W budynkach z płytami kanałowymi przebicia te muszą być skoordynowane przed wykonaniem lub późniejszą modyfikacją stropu. Niezweryfikowane wiercenia mogą naruszyć żebra nośne, zbrojenie lub sprężenie.
Gdy koordynacja następuje zbyt późno, trasy rur stają się dłuższe, mniej efektywne i trudniejsze w utrzymaniu. W niektórych przypadkach rury prowadzone są ponad podłogą podniesioną, tworząc ryzyko potknięć, problemy serwisowe lub konflikty ze strefami pożarowymi.
Wielkość pomieszczeń technicznych
Poważna modernizacja pod chłodzenie cieczą zwykle wymaga większej powierzchni technicznej niż przewidywał pierwotny obiekt. CDU, wtórne obiegi wody, dry coolery, wymienniki ciepła i zbiorniki buforowe wymagają dostępu, powierzchni montażowej i stref serwisowych.
Z punktu widzenia konstrukcji przy projektach retrofitowych późnym problemem często nie jest samo urządzenie chłodzące, lecz infrastruktura wokół niego: fundamenty pod CDU, obciążenia stropów, trasy rur, przebicia i rezerwy nośności w pomieszczeniach technicznych.
Ryzyka retrofitów chłodzenia cieczą, które operatorzy odkrywają zbyt późno
Kilka ryzyk jest słabo widocznych na etapie decyzji, ale regularnie powoduje problemy kosztowe i harmonogramowe po rozpoczęciu realizacji:
- Systemy podłóg podniesionych zaprojektowane dla standardowych racków, które nie są w stanie przenieść ciężaru CDU ani obciążeń kolektorów.
- Przebicia stropów pod rurociągi chłodziwa, które nie zostały uzgodnione z konstruktorem i prowadzą do interwencji w konstrukcję lub przeprojektowania tras.
- Systemy wody technologicznej nieprzystosowane do przepływów i ciśnień wymaganych przez chłodzenie DTC.
- Luki w detekcji wycieków w obszarach pierwotnie zaprojektowanych dla systemów powietrznych.
- Warunki gwarancyjne OEM wymagające określonych konfiguracji cold plates, typów płynu lub temperatur chłodziwa.
- Niewystarczająca moc systemu dystrybucji energii w strefach, gdzie pierwotny projekt zakładał racki chłodzone powietrzem.
Czytaj więcej: Chłodzenie powietrzem vs. chłodzenie cieczą w centrach danych: kiedy warto dokonać zmiany?
Co powoduje niepowodzenie modernizacji pod chłodzenie cieczą
Każde z powyższych ryzyk można powiązać z decyzją podjętą lub pominiętą na etapie koncepcji. To właśnie tam powstają błędy planowania, które później ujawniają się na budowie.
- Ustalanie lokalizacji CDU bez przeglądu konstrukcyjnego. Podłoga podniesiona i płyta betonowa muszą zostać ocenione pod kątem ciężaru CDU przed zamknięciem projektu MEP.
- Brak wczesnej koordynacji przebić w stropach. Płyty kanałowe nie mogą być dowolnie modyfikowane po wykonaniu bez ryzyka konstrukcyjnego.
- Pominięcie pojemności systemu wody technologicznej. Istniejące obiegi wody lodowej i wydajność pomp nie zawsze pokrywają wymagania przepływu dla DTC.
- Brak planu detekcji wycieków. Każde połączenie chłodziwa w aktywnej data hall jest potencjalnym punktem awarii.
- Pominięcie kontroli kompatybilności OEM. Nie każdy serwer obsługuje każde rozwiązanie cold plate, a chłodzenie immersyjne często wymaga określonych płynów i procedur.
- Brak audytu dystrybucji energii dla stref CDU. Projekty elektryczne dla chłodzenia powietrzem często nie uwzględniają obciążeń CDU.
Praktyczne rekomendacje dla modernizacji chłodzenia cieczą
- Zleć ocenę konstrukcyjną już na etapie koncepcji. Konstruktor powinien sprawdzić nośność podłogi podniesionej, przebicia stropów i obciążenia pomieszczeń technicznych przed zatwierdzeniem lokalizacji CDU.
- Przed decyzją zamodeluj trzy scenariusze: pełny retrofit, hybrydową strefę chłodzoną cieczą oraz etapową nową budowę.
- Od początku rozdziel strefy według gęstości. Obszary chłodzone powietrzem i cieczą mają inne wymagania konstrukcyjne i systemowe.
- Wcześnie określ zakres systemu wody technologicznej. Przepływy DTC nie zawsze pasują do istniejących obiegów wody lodowej.
- Planuj infrastrukturę chłodzenia cieczą nawet wtedy, gdy nie jest jeszcze wdrażana. Zapewnienie rezerw nośności, tras rur i mocy elektrycznej podczas pierwszej budowy kosztuje znacznie mniej niż późniejszy retrofit.
Wnioski
Modernizacja centrum danych pod chłodzenie cieczą jest możliwa, ale nie jest prostą wymianą sprzętu. Konsekwencje konstrukcyjne dodania CDU, tras rur i infrastruktury chłodziwa do istniejącego budynku muszą zostać ocenione wcześnie.
Właściwa ścieżka zależy od budynku, docelowej gęstości racków i harmonogramu. Dla wielu operatorów podejście hybrydowe, czyli dedykowana strefa chłodzona cieczą w istniejącym obiekcie lub obok niego, zapewnia najlepszą równowagę między ryzykiem, CapEx i szybkością. Nowa budowa ma sens, gdy gęstość, chłodzenie immersyjne lub długoterminowa skalowalność przekraczają granice istniejącej infrastruktury.
Najczęściej zadawane pytania
Czy modernizacja istniejącego centrum danych pod chłodzenie cieczą jest skuteczna?
Tak, pod odpowiednimi warunkami. Retrofit sprawdza się, gdy obiekt ma wystarczającą nośność podłogi, dostępne pomieszczenia techniczne oraz docelową gęstość racków w zakresie około 30 do 100 kW, odpowiednią dla rozwiązań DTC lub RDHx.
Jakie są główne wady modernizacji pod chłodzenie cieczą?
Główne wady to ograniczenia konstrukcyjne, ryzyko harmonogramowe i zakłócenia operacyjne. Istniejące podłogi mogą nie przenieść ciężaru CDU, przebicia stropów mogą kolidować z elementami konstrukcyjnymi, a pomieszczenia techniczne są często zbyt małe dla dodatkowej infrastruktury chłodzenia.
Jakie są największe ryzyka modernizacji chłodzenia cieczą?
Największe ryzyka to nieskoordynowane prace konstrukcyjne, niewystarczająca pojemność systemu wody technologicznej, luki w detekcji wycieków oraz warunki gwarancyjne OEM niesprawdzone przed zakupem sprzętu.
Jakie są najczęstsze błędy przy modernizacji centrum danych pod chłodzenie cieczą?
Najczęstsze błędy to ustalanie lokalizacji CDU bez przeglądu konstrukcyjnego, zbyt późna koordynacja przebić rur przez płyty kanałowe oraz brak wczesnego sprawdzenia pojemności systemów wody technologicznej i zasilania.
Kiedy nowa budowa ma większy sens niż retrofit pod chłodzenie cieczą?
Nowa budowa ma większy sens, gdy docelowa gęstość racków stale przekracza 100 kW, gdy chłodzenie immersyjne jest planowane od początku, gdy istniejący budynek ma istotne ograniczenia konstrukcyjne lub gdy długoterminowe skalowanie kampusu jest ważniejsze niż krótkoterminowe ponowne wykorzystanie obiektu.
Jaka jest różnica między Direct-to-Chip a Rear-Door Heat Exchangers przy modernizacji chłodzenia cieczą?
RDHx jest mniej ingerencyjne. Jednostki montuje się do istniejących racków, obniżając temperaturę powietrza wylotowego bez modyfikacji serwerów. Direct-to-Chip idzie dalej, ponieważ cold plates znajdują się bezpośrednio na procesorach i akceleratorach, umożliwiając wyższe gęstości, ale wymagając CDU, rurociągów i kontroli kompatybilności OEM.
Jakie kontrole konstrukcyjne są potrzebne przed modernizacją chłodzenia cieczą?
Konstruktor powinien ocenić nośność podłogi podniesionej względem ciężaru CDU i kolektorów, możliwość wykonania przebić w płycie betonowej dla tras chłodziwa, obciążenia pomieszczeń technicznych dla CDU i zbiorników buforowych oraz potencjalne konflikty ze zbrojeniem, sprężeniem i istniejącymi elementami konstrukcyjnymi.
|
O nas
gbc engineers
to międzynarodowe biuro inżynierskie z oddziałami w Niemczech, Polsce i Wietnamie, które zrealizowało ponad 10 000 projektów na całym świecie. Świadczymy usługi w zakresie inżynierii konstrukcyjnej, projektowania centrów danych, inżynierii infrastruktury i mostów, BIM & Scan-to-BIM oraz zarządzania budową. Łącząc niemiecką jakość inżynieryjną z międzynarodowym doświadczeniem, dostarczamy klientom zrównoważone, bezpieczne i efektywne rozwiązania.
|