Cluster-wide návody¶
Táto sekcia obsahuje dokumentáciu platnú pre oba clustre. Návody poskytujú všeobecné pokyny a odporúčané postupy na efektívnu prácu v prostredí HPC.
Dokumentácia je rozdelená do niekoľkých tematických oblastí pokrývajúcich správu úložiska, softvérové prostredia, kompiláciu aplikácií a odosielanie úloh. Každá sekcia sa zameriava na praktické pracovné postupy, s ktorými sa používatelia typicky stretávajú pri výpočtoch na clustri.
Rozsah tejto sekcie
Návody v tejto sekcii platia pre všetky clustre a väčšinu používateľov. Opisujú bežné pracovné postupy a zdieľanú infraštruktúru používanú v prostredí HPC.
Mounpoint-y¶
Návody k úložiskám opisujú, ako sú dáta usporiadané v systéme a ako by mali používatelia spravovať súbory a adresáre. Tieto stránky vysvetľujú práva prístupu k súborom, kvóty súborových systémov, odporúčané postupy pri práci s dátami a efektívny prenos dát.
Špeciálna pozornosť sa venuje úlohám, ktoré generujú veľké množstvo malých súborov, pretože môžu negatívne ovplyvniť výkon súborového systému na paralelných úložiskových systémoch.
Dobrá prax pri správe dát
Efektívna správa dát zlepšuje výkon súborového systému a pomáha predchádzať prekročeniu kvót. Odporúčame používateľom dodržiavať odporúčané postupy pri správe dát opísané v tejto sekcii.
Prostredie¶
Sekcia o prostredí vysvetľuje, ako sa na clustri spravujú softvérové prostredia. Väčšina softvéru je poskytovaná prostredníctvom systému modulov, ktorý umožňuje používateľom načítať kompilátory, knižnice a aplikácie kontrolovaným spôsobom.
Používatelia môžu spúšťať aplikácie aj v kontajneroch alebo vytvárať izolované softvérové prostredia v prípade potreby špecifických závislostí.
Návody sú k dispozícii pre:
- Prostredie modulov (Lua)
- Kontajnery Singularity
- Prostredia Conda
- Virtuálne prostredia Python
- Spúšťanie Jupyter notebookov
Kompilácia¶
Niektoré aplikácie je potrebné skompilovať priamo na clustri. Táto sekcia vysvetľuje, ako zostavovať softvér pomocou dostupných kompilačných prostredí a knižníc.
Dokumentácia obsahuje pokyny na zostavovanie softvéru pomocou EasyBuild, ako aj na manuálnu kompiláciu pomocou kompilátorov Intel a GNU. Zahrnutá je aj kompilácia softvéru s podporou GPU pomocou CUDA.
Keď je nutná kompilácia
Mnoho bežne používaných vedeckých aplikácií je už v systéme nainštalovaných. Kompilácia je zvyčajne potrebná iba pre vlastný softvér alebo aplikácie, ktoré nie sú dostupné prostredníctvom modulov.
Odosielanie úloh¶
Všetky výpočty na clustri sa spúšťajú prostredníctvom plánovača úloh. Používatelia musia odosielať úlohy pomocou skriptov úloh, ktoré definujú požiadavky na zdroje, napr. jadrá CPU, GPU, pamäť a dĺžku behu.
Táto sekcia opisuje pracovný postup pri odosielaní úloh a vysvetľuje, ako vytvárať skripty úloh, vyberať vhodné partície a sledovať bežiace úlohy.
Ďalšie témy zahŕňajú:
- Prioritizáciu úloh
- Stavy úloh
- Zúčtovanie zdrojov
- Pole úloh
- GPU úlohy
- E-mailové notifikácie
- Praktické príklady príkazov
Priamy beh
Výpočtové úlohy nesmú byť spúšťané priamo na prihlasovacích uzloch. Všetky produkčné úlohy musia byť odoslané do plánovača pomocou skriptu úlohy.