Preskočiť na obsah

Mounpoint-y

Efektívna správa dát je nevyhnutná na udržanie vysokého výkonu a produktivity pri práci na HPC klastri Devana. Tento návod poskytuje prehľad dostupných súborových systémov, ich určeného použitia a všeobecných odporúčaní na ich optimálne využitie.

Zálohovanie

Pre žiadny adresár (/home, /project, /scratch, /work) neexistujú zálohovacie služby. Používatelia nesú plnú zodpovednosť za ochranu svojich dát a za to, aby dôležité výsledky boli uložené na primeraných miestach.

Podrobné informácie o kvótach súborových systémov nájdete v návode Kvóty súborových systémov.

Dostupné mountpoint-y

Po prihlásení sa na klaster Devana je k dispozícii niekoľko súborových systémov, pričom každý je určený pre konkrétnu časť výpočtovej činnosti.

Prehľad dostupných súborových systémov na Devane

Kapacita mounpointov

  • /home

    • Osobný adresár vlastný pre každého používateľa.
    • Určený najmä pre konfiguračné súbory, skripty a menšie osobné výsledky.

  • /project

    • Zdieľaný adresár prístupný všetkým členom projektu.
    • Používa sa na ukladanie dát a výsledkov projektu.

  • /scratch

    • Zdieľané adresár s vysokým výkonom pre veľké dátové súbory.
    • Prístupné všetkým členom projektu.
    • Určené pre výpočty, ktoré presahujú kapacitu lokálneho disku.

  • /work

    • Lokálny NVMe disk na výpočtových a GPU uzloch.
    • Určený pre výpočty, ktorých dáta sa zmestia do kapacity lokálneho disku.
    • Prístupné len počas aktívnej úlohy.

Kde spúšťať výpočty?

Mountpoint Kapacita Prístupné z Výkon (zápis/čítanie)
/home/username 547 TB Prihlasovacie a výpočtové uzly 3 GB/s & 6 GB/s
/project/project_id 269 TB Prihlasovacie a výpočtové uzly XXX GB/s & XXX GB/s
/scratch/project_id 269 TB Prihlasovacie a výpočtové uzly 7 GB/s & 14 GB/s
/work/SLURM_JOB_ID 3.5 TB Uzly 001-048, 141-148 3.6 GB/s & 6.7 GB/s
/work/SLURM_JOB_ID 1.5 TB Uzly 049-140 1.9 GB/s & 3.0 GB/s

Výber správneho súborového systému

Optimálny súborový systém závisí od veľkosti záťaže, I/O vzorcov a iných požiadaviek požiadaviek. Všeobecne /work poskytuje najvyšší výkon, ak je dostupná dostatočná lokálna kapacita.

Kde ukladať dáta?

Úloiská sú kategorizované podľa svojho určeného účelu.

Mountpoint Kvóta Vymazanie dát Protokol
/home/username/ 1 TB Žiadne NFS

Podrobnosti

Osobný domovský adresár pre každého používateľa. Túto lokalitu by ste mali používať predovšetkým na skripty, konfiguračné súbory a menšie dátové súbory.

Cestu je možné overiť pomocou:

echo $HOME
Mounpoint Kvóta Vymazanie dát Protokol
/project/<project_id> Definovaná na projekt 6 mesiacov po skončení projektu LUSTRE

Podrobnosti

Zdieľaný adresár prístupný všetkým členom projektu. Túto lokalitu by ste mali používať na zdieľané dáta projektu, medzivýsledky a finálne výstupy.

Mountpoint Kvóta Vymazanie dát Protokol
/scratch/<project_id> Neobmedzená Periodicky odstraňované BeeGFS

Podrobnosti

Dočasné úložisko určené pre výpočtové záťaže.

  • Navrhnuté pre veľké dátové súbory a I/O s vysokou priepustnosťou.
  • Prístupné zo všetkých výpočtových uzlov.
  • Dáta sa majú považovať za nepersistentné.
Mountpoint Kvóta Vymazanie dát Protokol
/work/$SLURM_JOB_ID Neobmedzená Automaticky odstránené po dokončení úlohy XFS

Podrobnosti

Lokálne disky uzla dostupné len počas behu úlohy.

  • Najvyššia I/O priepustnosť dostupná v systéme.
  • Vhodné pre záťaže, ktoré sa zmestia do lokálnej kapacity uzla.
  • Dáta sa po dokončení úlohy automaticky odstránia.

Podrobné informácie o kvótach nájdete v návode Kvóty súborových systémov.

Home

Mountpoint Limit na používateľa Záloha Celková kapacita Výkon Protokol
/home 1 TB Nie 547 TB 3/6 GB/s NFS

Adresár /home predstavuje predvolený súborový systém po prihlásení a obsahuje osobný adresár každého používateľa. Platí kvóta 1 TB na používateľa.

Projekty

Mountpoint Limit na používateľa Záloha Celková kapacita Výkon Protokol
/project Definovaný na projekt Len aktívne 9.4 PB XXX GB/s LUSTRE

Každému používateľovi je priradený jeden alebo viac ID projektov, ktoré sú potrebné na prístup k súboorom a výpočtovým zdrojom súvisiacim s projektmi. Vlastné ID projektov si môžete zistiť pomocou príkazu sprojects. Príkaz vypíše všetky projekty priradené k vášmu účtu. Ak chcete zobraziť ďalšie detaily, napríklad alokácie projektu a zdieľané adresáre, použite príkaz sprojects -f. Alternatívne si môžete overiť členstvo vo svojich projektoch spustením:

id

Výstup príkazu id

uid=187000000(user) gid=187000000(user) groups=187000000(user),187000062(p70-23-t),187000064(p81-23-t)
Vaše projekty sú uvedené za záznamom groups.

Každý projekt má priradený adresár umiestnený pod /project. Adresár svojho projektu môžete otvoriť pomocou nasledujúcej štruktúry cesty:

/project/<project_id>

Nahraďte <project_id> identifikátorom vášho projektu. Napríklad ak je ID vášho projektu p70-23-t, váš projektový adresár bude:

/project/p70-23-t

Pravidlá uchovávania dát

Dáta v /project sa uchovávajú 3 mesiace po skončení projektu.

Scratch

Mountpoint Limit na používateľa Záloha Celková kapacita Výkon Protokol
/scratch Žiadna Nie 269 TB XXX GB/s BeeGFS

Adresár /scratch poskytuje dočasné úložisko pre výpočtové dáta a je implementovaný ako paralelný súborový systém BeeGFS pripojený cez sieť InfiniBand 100 Gb/s.

Štruktúra adresárov zodpovedá rozloženiu adresára /project, pričom každý projekt má svoj vlastný adresár:

/scratch/<project_id>

Pravidlá uchovávania dát

Dáta v /scratch sa uchovávajú 3 mesiace po skončení projektu.

Work

Mountpoint Limit na používateľa Záloha Celková kapacita Výkon Protokol
/work Žiadna Nie 1.5 / 3.5 TB XXX GB/s XFS

Adresár /work, podobne ako /scratch, slúži na dočasné výpočtové dáta. Na rozdiel od /scratch je tvorený lokálnym NVMe diskom umiestneným priamo na výpočtových uzloch a poskytuje najvyššiu I/O priepustnosť.

Tento disk je prístupný len počas aktívnej úlohy a typicky sa používa pre I/O náročné záťaže.

Kapacita podľa uzla

  • Uzly 001–048 a 141–148 poskytujú 3.5 TB NVMe disk /work.
  • Ostatné výpočtové uzly poskytujú približne 1.8 TB.

Pre ďalšie informácie o hardvéri si pozrite sekciu Hardvér úložísk.

Created by: Marek Štekláč, Marek Štekláč