Hardvér úložísk¶
HPC klaster Perun je vybavený viacvrstvovou úložnou architektúrou navrhnutou tak, aby vyvážila výkon, kapacitu a škálovateľnosť. Tento dokument poskytuje prehľad základného úložného hardvéru používaného v jednotlivých vrstvách.
Ak hľadáte informácie na úrovni súborového systému (mounpoints, kvóty, využitie), pozrite sekciu Úložiská.
Konfigurácia úložiska Home a Apps¶
Úložiská Home (/home) a Apps (/apps) sú navrhnuté pre
používateľské prostredia a centrálne inštalovaný softvér. Tieto
systémy dávajú prednosť spoľahlivosti a konzistencii pred výkonom.
1× DDN IntelliFlash N6200 (2U):
- Dva active/active kontroléry (plne redundantné)
- 4× porty 100GbE (NFS export)
- 1GbE servisné rozhrania na kontrolér
- IntelliFlash OS s NFS (v3/v4)
- Inline deduplikácia a kompresia
- Podpora snapshotov a klonovania
Konfigurácia diskov:
- 24× NVMe SSD (13.97 TiB na disk)
Rozloženie poolu:
- pool-1: 12 NVMe diskov (~130 TiB využiteľné)
- pool-2: 12 NVMe diskov (~130 TiB využiteľné)
Kapacita:
- Surová: ~335 TiB (~360 TB)
- Využiteľná: ~260 TiB
Note
/home aj /apps sú exportované cez NFS a nie sú určené
na paralelné záťaže s vysokou priepustnosťou.
Konfigurácia úložiska Scratch¶
Úložisko Scratch (/scratch) je navrhnuté na výkonný
dočasný prístup k dátam a poskytuje najvyššiu I/O priepustnosť.
Warning
Úložisko Scratch sa nezálohuje a podlieha politike odstraňovania (purge). Používatelia musia dôležité výsledky po dokončení úlohy preniesť.
4× DDN SFA400NVX2T (2U každá):
- 4× procesory Intel Xeon Scalable 3. generácie na zariadenie
- 2 kontroléry na zariadenie (Active/Active)
- 2 VM na kontrolér (16 VM spolu:
scrp-vm01–scrp-vm16) - DeClustered RAID (DCR)
- 2× InfiniBand NDR200 (200 Gb/s) na VM
- Spolu: 32 InfiniBand portov
- LNET:
o2ib0 - SFAOS 12.8, EXAScaler (Lustre)
Konfigurácia diskov:
- 96× NVMe SSD (15.36 TB na disk)
Rozloženie Lustre:
- 16× MDT, 32× OST
Kapacita:
- Surová: ~1.47 PB
- Využiteľná: ~1.1 PB
- Inode: ~12.9 miliardy
Konfigurácia úložiska Project¶
Úložisko Project (/project) poskytuje zdieľané úložisko
pre výskumné skupiny a kombinuje výkon NVMe s kapacitou HDD.
2× DDN SFA400NVX2 (2U každá):
- 4× procesory Intel Xeon Scalable 3. generácie na zariadenie
- 2 kontroléry na zariadenie (Active/Active)
- 2 VM na kontrolér (8 VM spolu:
prjp-vm01–prjp-vm08) - DeClustered RAID (DCR)
- 2× InfiniBand NDR200 (200 Gb/s) na VM
- Spolu: 16 InfiniBand portov
- SAS4 pripojenie na rozšírenie
- LNET:
o2ib0 - SFAOS 12.8, EXAScaler (Lustre)
8× diskové skrine DDN SS9024 (4U každá):
- 90 diskových slotov na skriňu
- 2× SAS4 I/O moduly
- Redundantné napájanie a chladenie
Konfigurácia diskov:
- 24× NVMe SSD (15.36 TB)
- 360× SAS HDD (18 TB)
Rozloženie Lustre:
- 8× MDT (NVMe)
- 16× OST (HDD)
- 16× OST (NVMe)
Kapacita:
- Surová kapacita HDD: ~6.48 PB
- Surová kapacita NVMe: ~368 TB
- Využiteľná: ~9.33 PiB
- Inode: ~24+ miliardy
Konfigurácia úložiska Work¶
Úložisko Work (/work) pozostáva z lokálnych NVMe SSD
pripojených k výpočtovým uzlom. Poskytuje veľmi vysoký I/O výkon
pre dočasné dáta.
Warning
Dáta v /work nie sú trvalé a sú odstránené po dokončení
úlohy alebo reštarte uzla.
Konfigurácia závisí od skupín uzlov:
| Rozsah uzlov / typ | Model | Kapacita na uzol |
|---|---|---|
| cn001–cn045 | Samsung MZ1L23T8HBLA-00A07 | 3.84 TB |
| cn046–cn060 | Micron 7450 (MTFDKBZ7T6TFR) | 7.68 TB |
| gn001–gn076 | Micron 7450 (MTFDKBG3T8TFR) | 3.84 TB |
Všeobecné vlastnosti:
- Lokálne (nie zdieľané medzi uzlami)
- Bez kvót
- Neprístupné medzi úlohami
Note
/work používajte len na dočasné dáta s vysokým I/O. Trvalé
dáta uchovávajte v /project alebo /home.
Poznámky o architektúre¶
Úložiská Perun používajú EXAScaler (Lustre) pre paralelné súborové systémy a NFS (IntelliFlash) pre používateľské prostredia.
- Lustre (
/scratch,/project) → veľkoškálové paralelné I/O - NFS (
/home,/apps) → používateľské prostredie a malé súbory
Note
Lustre dosahuje najlepší výkon pri veľkom sekvenčnom I/O. NFS nie je vhodný pre ťažké paralelné záťaže.