Preskočiť na obsah

Chladiaci systém – BullSequana XH3000

Obr. 1: Chladenie blade Perun.

Platforma BullSequana XH3000 využíva bezventilátorovú architektúru Direct Liquid Cooling (priame kvapalinové chladenie) navrhnutú pre HPC nasadenia s vysokou hustotou nodov. Na rozdiel od tradičných rackov chladených vzduchom systém odvádza teplo priamo z komponentov pomocou kvapalinou chladených chladiacich plôch (cold plates), čo zvyšuje tepelnú efektívnosť a umožňuje prevádzku s pomerom Power Usage Effectiveness (PUE) blízko 1,0.

Efektívnosť chladenia môže dosiahnuť cca 97 % pri prívodných teplotách primárnej vody až 40 °C. Prevádzka s teplou vodou znižuje závislosť od mechanických chladičov a podporuje energetickú efektívnosť.


Koncept priameho kvapalinového chladenia

Všetky komponenty s vysokým príkonom vo vnútri racku sa chladia priamym kontaktom s kvapalinou chladenými chladiacimi plochami. Teplo sa odvádza z kremíkových komponentov do chladiva bez nutnosti vysokého prúdenia vzduchu. To odstraňuje potrebu rýchlootáčkových ventilátorových sústav a znižuje akustický hluk a spotrebu pomocnej energie.

Systém DLC chladí:

  • CPU a GPU
  • Moduly pamäte (cez rozvádzače tepla)
  • Zariadenia úložísk
  • Rýchle interconnect switche
  • Jednotky prevodu napájania

Moduly DIMM sa nechladia priamo vodou, ale používajú vyhradené rozvádzače tepla, ktoré vedú teplo smerom k hlavnej chladiacej ploche. To zabezpečuje rovnomerné tepelné správanie pri zachovaní servisnosti.

Chladenie racku

Obr. 2: Hydraulický okruh.

Hydraulická architektúra

Riešenie chladenia je založené na hydraulickej architektúre s dvojitým okruhom pozostávajúcej z primárneho (data center) okruhu a sekundárneho (vnútri racku) okruhu.

Primárny okruh je súčasťou chladiacej infraštruktúry dátového centra. Dodáva upravenú vodu do racku. Primárne čerpadlá sú umiestnené mimo racku a voda sa chladí zariadeniami na úrovni budovy. Systém podporuje:

  • Prívodná teplota až 40 °C
  • Odvodná teplota až 50 °C

Primárne hydraulické rozhranie používa DN38 izolované hadice (štandard SAE 100R4) s pripojením z nehrdzavejúcej ocele a priemyselnými guľovými ventilmi. Konfigurácia hadíc sa dá prispôsobiť konkrétnym požiadavkám prevádzkového miesta.

Vo vnútri racku sekundárny okruh distribuuje chladivo priamo k výpočtovým blade, GPU modulom, switchom a napájacím policiam. Teplo zo sekundárneho okruhu sa odvádza do primárneho okruhu cez chladič namontovaný na racku.

Toto oddelenie zabezpečuje, že vnútorné komponenty racku ostávajú chránené pred potenciálnou kontamináciou alebo zmenami kvality v dodávke vody budovy.

Chladiace okruhy

Obr. 3: Chladiaci okruh.

Výhody dizajnu s dvoma okruhmi

Nezávislé primárne a sekundárne okruhy prinášajú niekoľko prevádzkových výhod:

  • Ochrana výpočtových modulov pred zhoršením kvality primárnej vody
  • Prevencia kondenzácie reguláciou teploty sekundárneho okruhu
  • Adaptívna regulácia prietoku chladenia podľa záťaže, znižovanie prevádzkových energetických nákladov
  • Stabilné hydraulické parametre nezávislé od kolísania vonkajšej infraštruktúry

Dynamickou reguláciou otvorenia primárneho ventilu podľa výpočtovej záťaže rack optimalizuje prenos tepla a znižuje celkové náklady na vlastníctvo (TCO).


Redundancia a spoľahlivosť

Hydraulický systém je konštruovaný s redundanciou na zabezpečenie neustálej prevádzky. V každom racku sú implementované dve nezávislé chladiace reťazce. Každý reťazec zahŕňa:

  • Hydraulické čerpadlo
  • Teplotný senzor
  • Hydraulic Management Controller (HMC)
  • Riadiaci ventil

Bežne je aktívny iba jeden reťazec a druhý zostáva v pohotovostnom režime. Ak sa zistí porucha v aktívnom reťazci, systém sa automaticky prepne na redundantný reťazec. Súčasné zlyhanie oboch reťazcov sa považuje za veľmi nepravdepodobné.

Created by: Marek Štekláč, Marek Štekláč