Výpočtové Uzly¶

Devana je klaster výpočtových uzlov s označením n[001-148]. Uzly sú vybavené procesormi Intel s architektúrou x86-64. Je postavený na technológii Lenovo a obsahuje štyri typy výpočtových uzlov:

Uzly	Modul^a / Počet	Jadrá	Pamäť	Disk^b	GPU	Sieť
n[001-048]	U / 48	64	256 GB	3.84 TB	žiadne	100 Gb/s
n[049-140]	U / 92	64	256 GB	1.92 TB	žiadne	100 Gb/s
n[141-144]	A / 4	64	256 GB	3.84 TB	4x A100	200 Gb/s
n[145-148]	A / 4	64	256 GB	3.84 TB	4x A100	200 Gb/s

^a U – univerzálny modul, A – akcelerovaný modul.

^b Hodnota predstavuje kapacitu lokálneho disku. Skupiny uzlov v rámci toho istého modulu sa líšia kapacitou lokálneho disku.

Uzly univerzálneho modulu¶

Predný pohľad na DA240 — Obr. 1: Štyri servery ThinkSystem SD630 V2 nainštalované v kryte DA240

Predný pohľad na SD630 V2 — Obr. 2: Predný pohľad na jednotku SD630 V2

Univerzálny modul tvorí 140 serverových jednotiek, z ktorých každá predstavuje jeden výpočtový uzol. Výpočtový uzol je dvojpäticový server Lenovo ThinkSystem SD630 V2 v rackovom formáte 0.5U. Riešenie tvorí 35 2U krytov ThinkSystem DA240, z ktorých každý obsahuje štyri servery SD630 V2 s prístupom z prednej strany. Každý uzol obsahuje dva procesory Intel Xeon Scalable tretej generácie (rodina Ice Lake). Existujú dve skupiny výpočtových uzlov, ktoré sa mierne líšia kapacitou lokálneho úložiska.

Jednotka SD630 V2 je vhodná pre širokú škálu pracovných záťaží, od cloudových a analytických aplikácií až po aplikácie umelej inteligencie a vysokovýkonného výpočtového spracovania, ako sú molekulárne modelovanie, návrh materiálov, počítačom podporované inžinierstvo či automatizácia návrhu elektronických schém.

Vnútorný pohľad na SD630 V2 — Obr. 3: Vnútorný pohľad na výpočtový uzol SD630 V2

Vlastnosť	n[001-048]	n[049-140]
Procesor^a	2× Intel Xeon Gold 6338 CPU @ 2.00 GHz
RAM	256 GB DDR4 RAM @ 3200 MHz
Disk^b	3.84 TB NVMe SSD @ 5.8 GB/s, 362 kIOPs	1.92 TB NVMe SSD @ 2.3 GB/s, 166 kIOPs
Sieť	100 Gb/s InfiniBand
Výkon^c	????? GFLOP/s na výpočtový uzol

^a Základná frekvencia 2.00 GHz, 3.2 GHz jedno jadro.

^b Výkonové údaje získané syntetickým testom fio. Priepustnosť meraná v zmiešanom postupnom čítaní/zápise (pomer 80/20 a blok 1M). Počet operácií meraný v zmiešanom náhodnom čítaní/zápise (pomer 80/20 a blok 4k).

^c DP.

Uzly akcelerovaného modulu¶

Predný pohľad na SR670 V2 — Obr. 4: Predný pohľad na jednotku SR670 V2

Akcelerovaný modul tvorí osem serverových jednotiek, z ktorých každá predstavuje akcelerovaný výpočtový uzol. Akcelerovaný výpočtový uzol je všestranný 3U rackový server obsahujúci na GPU, a to Lenovo ThinkSystem SR670 V2, vybavený NVIDIA HGX A100 so 4 GPU. Všetky GPU sú symetricky prepojené cez NVLink zabezpečujúci rovnakú priepustnosť medzi ľubovoľnou dvojicou GPU akcelerátorov. Server obsahuje rovnaký počet aj typ CPU ako univerzálny výpočtový uzol.

Akcelerované výpočtové uzly poskytujú väčšinu výpočtového výkonu využiteľného pre HPC a zároveň vynikajúci výkon v záťažiach HPDA a umelej inteligencie, najmä vo fáze tréningu hlbokých neurónových sietí.

Vnútorný pohľad na SR670 V2 (1) — Obr. 5: Vnútorný pohľad na akcelerovaný výpočtový uzol SR670 V2 so 4x SXM GPU a košom na 8x 2,5-palcové hot-swap disky

Vnútorný pohľad na SR670 V2 (2) — Obr. 6: Vnútorný pohľad na akcelerovaný výpočtový uzol SR670 V2 so 4x SXM GPU a košom na 8x 2,5-palcové hot-swap disky (bez košov a ventilátorov)

Vlastnosť	n[141-144]	n[145-148]
Procesor^a	2× Intel Xeon Gold 6338 CPU @ 2.00 GHz
RAM	256 GB DDR4 RAM @ 3200 MHz
Disk^b	3.84 TB NVMe SSD @ 5.8 GB/s, 362 kIOPs	3.84 TB NVMe SSD @ 2.3 GB/s, 166 kIOPs
GPGPU	4× NVIDIA A100 SXM4, 40 GB HBM2
Sieť	200 Gb/s HDR InfiniBand
Výkon^c	????? GFLOP/s na akcelerovaný výpočtový uzol

^a Základná frekvencia 2.00 GHz, 3.2 GHz jedno jadro.

^b Výkonové údaje získané syntetickým testom fio. Priepustnosť meraná v zmiešanom postupnom čítaní/zápise (pomer 80/20 a blok 1M). Počet operácií meraný v zmiešanom náhodnom čítaní/zápise (pomer 80/20 a blok 4k).

^c DP.

Procesory¶

Intel® Xeon® Gold 6338¶

Intel® Xeon® Gold 6338 je 64-bitový 32-jadrový x86 škálovateľný serverový mikroprocesor, navrhnutý tak, aby bez problémov zvládal náročné pracovné záťaže a komplexné úlohy. Procesor bol vydaný v 2. štvrťroku 2021 a vyrába sa 10 nm technológiou. Tento mikroprocesor má 48 MB L3 cache a podporuje až 6 TB pamäte DDR4-3200 (8 kanálov pamäte na CPU). Rozšírená sada príkazov procesora zahŕňa Intel® SSE4.2, Intel® AVX, Intel® AVX2 a Intel® AVX-512.

Kľúčové údaje o procesore Intel® Xeon® Gold 6338:

Intel® Xeon® Gold 6338
Jadrá	32	Rýchlosť Intel® UPI	11.2 GT/s
Vlákná	64	Pamäť	6 TB @ DDR4-3200
Základná frekvencia	2.00 GHz	Technológia	10 nm
Max. turbo frekvencia	3.20 GHz	TDP	205 W

Akcelerátory¶

NVIDIA® A100¶

Tensor Core GPU NVIDIA® A100 podporuje širokú škálu matematických presností, čím ponúka jeden akcelerátor pre množstvo pracovných záťaží. A100 sa dá efektívne škálovať do šírky (scale out) alebo rozdeliť na sedem izolovaných GPU inštancií, pričom Multi-Instance GPU (MIG) poskytuje jednotnú platformu, ktorá umožňuje dynamicky sa prispôsobovať meniacim sa požiadavkám na záťaž.

NVIDIA® A100
NVIDIA® CUDA Cores	6912	Výkon (jednoduchá presnosť)	19.5 TFLOP/s
NVIDIA® Tensor Cores	432	Výkon (dvojnásobná presnosť)	9.7 TFLOP/s
Pamäť GPU	40 GB HBM2	Priepustnosť pamäte	1555 GB/sec
Systémový interconnect	NVIDIA® NVLink	Priepustnosť interconnectu	600 GB/sec

Created by: Marek Štekláč, Marek Štekláč