Súborové systémy¶
HPC clustre poskytujú niekoľko zdieľaných súborových systémov používaných na rôzne účely počas životného cyklu projektov. Tieto súborové systémy sa líšia v charakteristikách výkonu, perzistencii dát a predpokladanom použití.
Typické HPC pracovné postupy zahŕňajú niekoľko fáz spracovania dát:
-
Príprava vstupov – zdrojový kód, skripty a vstupné dáta sa ukladajú do domovského alebo projektového adresára.
-
Spustenie úloh – simulačné a analytické úlohy generujú veľké dočasné datasety. Tieto súbory by sa mali zapisovať do vysokovýkonného scratch úložiska, aby sa predišlo preťaženiu ostatných súborových systémov.
-
Uchovanie výsledkov – dôležité výstupy by sa mali po dokončení výpočtu preniesť do projektového úložiska alebo externých archivačných systémov.
Použitie správneho súborového systému je nevyhnutné pre udržanie dobrého I/O výkonu a zabezpečenie férového prístupu k zdieľaným zdrojom.
Väčšina systémov na clustri sú zdieľané paralelné súborové systémy. Sú optimalizované pre vysokopriepustné úlohy s veľkými súbormi a súčasným prístupom z mnohých výpočtových uzlov. Pracovné postupy, ktoré generujú veľmi veľké množstvo malých súborov alebo vykonávajú časté operácie s metadátami, môžu mať znížený výkon.
Táto sekcia vysvetľuje, ako fungujú mounpoint-y na HPC platforme a ako efektívne spravovať dáta. Témy zahŕňajú:
- riadenie práv prístupu k súborom
- porozumenie kvót
- odporúčané postupy pre organizáciu dát
- prenos dát medzi systémami
- spracovanie úloh, ktoré generujú veľké množstvá súborov
Informácie špecifické pre cluster sú zdokumentované v sekcii Mounpoints v návode pre Devana a Perun.