Preskočiť na obsah

Mountpoint-y

Účinné spravovanie dát je nevyhnutné na zachovanie vysokého výkonu a produktivity pri práci na HPC klastri Perun. Tento návod poskytuje prehľad dostupných súborových systémov, ich zamýšľaných prípadov použitia a všeobecných odporúčaní na optimálne využitie.

Politika zálohovania

Zálohovanie nie je garantované pre všetky súborové systémy.

  • /home sa zálohuje denne.
  • /project sa zálohuje len pre aktívne projekty mesačne.
  • /scratch a /work sa nezálohujú.

Používatelia sú zodpovední za to, aby boli dôležité dáta uložené na vhodných miestach.

Podrobné informácie o kvótach súborových systémov nájdete v návode Kvóty súborových systémov.

Dostupné mountpoint-y

Po prihlásení sa do klastra Perun je k dispozícii niekoľko úložných miest. Každý súborový systém je navrhnutý pre špecifickú časť výpočtového workflow.

Prehľad dostupných súborových systémov na Perun

Kapacita mountpointov

  • /home

    • Osobný adresár jedinečný pre každého používateľa.
    • Určený na skripty, konfiguračné súbory a menšie dátové súbory.

  • /project

    • Zdieľaný adresár prístupný všetkým členom projektu.
    • Používa sa na ukladanie projektových dát a výsledkov.
    • Obsahuje projektové kvóty.

  • /scratch

    • Vysokovýkonný paralelný súborový systém.
    • Navrhnutý pre veľké dátové súbory a I/O náročné záťaže.

  • /work

    • Lokálne úložisko na výpočtových uzloch.
    • Poskytuje najvyššiu I/O priepustnosť.
    • Prístupné len počas aktívnej úlohy.

Kde spúšťať výpočty?

Mountpoint Kapacita Prístupné z Výkon (zápis/čítanie)
/home/username 250 TB Prihlasovacie a výpočtové uzly 3 GB/s & 6 GB/s
/project/project_id 9.4 PB Prihlasovacie a výpočtové uzly 120 GB/s & 170 GB/s
/scratch/project_id 1.1 PB Prihlasovacie a výpočtové uzly 240 GB/s & 350 GB/s
/work/SLURM_JOB_ID 3.84–7.68 TB Výpočtové uzly až ~5–7 GB/s

Výber správneho súborového systému

Optimálny súborový systém závisí od veľkosti záťaže, I/O vzorcov a iných požiadaviek požiadaviek. Všeobecne /work poskytuje najvyšší výkon, ak je dostupná dostatočná lokálna kapacita.

Kde ukladať dáta?

Mountpoint-y sú kategorizované podľa ich zamýšľaného účelu.

Mountpoint Kvóta Vymazanie dát Protokol
/home/username/ Žiadne Žiadne NFS

Detaily

Osobný domovský adresár každého používateľa. Toto miesto by sa malo primárne používať na skripty, konfiguračné súbory a menšie dátové súbory.

Cestu si môžete overiť pomocou:

echo $HOME
Mountpoint Kvóta Vymazanie dát Protokol
/project/<project_id> Definovaná na projekt 6 mesiacov po skončení projektu LUSTRE

Detaily

Zdieľaný adresár prístupný všetkým členom projektu.

  • Určený na zdieľané projektové dáta, priebežné výsledky a konečné výstupy.
  • Zálohuje sa len pre aktívne projekty.
  • Môže obsahovať vyhradené databázové adresáre.
Mountpoint Kvóta Vymazanie dát Protokol
/scratch/<project_id> Definovaná na projekt Periodicky odstraňované Paralelný FS

Detaily

Dočasné úložisko určené pre výpočtové záťaže.

  • Navrhnuté pre veľké dátové súbory a vysokú I/O priepustnosť.
  • Bez zálohovania – dáta je potrebné považovať za netrvalé.
  • Prístupné zo všetkých výpočtových uzlov.
  • Vhodné pre databázovo orientované záťaže.
Mounpoint Kvóta Vymazanie dát Protokol
/work/$SLURM_JOB_ID Neobmedzená Odstránené po dokončení úlohy XFS

Detaily

Lokálny NVMe disk uzla dostupný len počas vykonávania úlohy.

  • Poskytuje najvyššiu I/O priepustnosť dostupnú v systéme.
  • Vhodné pre záťaže, ktoré sa zmestia do lokálnej kapacity uzla.
  • Dáta sa automaticky odstránia po dokončení úlohy.

Podrobné informácie o kvótach sú v návode Kvóty súborových systémov.

Home

Mounpoint Limit na používateľa Záloha Celková kapacita Výkon Protokol
/home Žiadny Áno 250 TB 3/6 GB/s NFS

Adresár /home je predvolený súborový systém po prihlásení a obsahuje osobný adresár každého používateľa.

Projekty

Mountpoint Limit na používateľa Záloha Celková kapacita Výkon Protokol
/project Definovaný na projekt Len aktívne 9.4 PB 120/170 GB/s LUSTRE

Každému používateľovi je pridelené jedno alebo viac projektových ID, ktoré sú potrebné na prístup k projektovým dátom a výpočtovým zdrojom. Svoje projektové ID môžete nájsť pomocou:

id

Výstup id

uid=187000000(user) gid=187000000(user) groups=187000000(user),187000062(p70-23-t),187000064(p81-23-t)
Vaše projekty sú uvedené po položke groups.

Projektové adresáre majú štruktúru:

/project/<project_id>

Politika uchovávania dát

Dáta v /project sa uchovávajú 6 mesiacov po skončení projektu.

Scratch

Mountpoint Limit na používateľa Záloha Celková kapacita Výkon Protokol
/scratch Žiadny Nie 1.1 PB 240/350 GB/s Paralelný FS

Adresár /scratch poskytuje výkonné dočasné úložisko pre výpočtové záťaže.

Štruktúra adresára:

/scratch/<project_id>

Politika uchovávania dát

Dáta v /scratch sa uchovávajú 6 mesiacov po skončení projektu.

Work

Mounpoint Limit na používateľa Záloha Celková kapacita Výkon Protokol
/work Žiadny Nie 3.84–7.68 TB až ~5–7 GB/s XFS

Adresár /work poskytuje lokálny NVMe disk uzla s najvyšším výkonom.

Tento disk je dostupný len počas aktívnej úlohy a je určené pre I/O náročné záťaže.

Detaily

  • Dáta sa automaticky odstránia po dokončení úlohy.
  • Odporúča sa na dočasné vysokovýkonné výpočty.

Pre ďalšie informácie o hardvéri si pozrite sekciu data hardvér.

Created by: Marek Štekláč, Marek Štekláč