Kvóty súborových systémov¶

Kvóty sa používajú na monitorovanie a obmedzenie spotreby na clustri. Kvóty sa zvyčajne uplatňujú pre každého používateľa a pre každý projekt, v závislosti od súborového systému.

Zvyčajne sa uplatňujú dva limity:

Využitie súborového systému – celkové množstvo použitého miesta na disku
Počet súborov – celkový počet súborov

Spotreba súborových systémov sa teda meria v alokovaných blokoch a počte súborov.

Určenie kvót¶

Využitie kvót je možné zistiť spustením nasledujúceho príkazu:

quota -s

Kvóta používateľa na /home

Disk quotas for user <user> (uid <user_id>):
Filesystem   space   quota   limit   grace   files   quota   limit   grace
store-nfs-ib:/storage/home
              507G   1000G   1024G           2196k*   2048k   2098k

Hviezdička (*) označuje, že používateľ prekročil kvótu, a zápis do /home/ nie je povolený.

Príkaz du -sh sa dá použiť na zobrazenie veľkosti príslušných adresárov:

du -sh /home/<user>/<dir>

Alternatívne môžu používatelia použiť príkaz dust, ktorý vypíše stromovú štruktúru adresárov. Hĺbku stromu možno špecifikovať parametrom -d.

Výstup príkazu dust

login01:~$ dust /home/<user>/<dir>
  640G ─┬ .
  523G  ├─┬ ADMIN
  227G  │ ├─┬ qe
  226G  │ │ └─┬ benchmarks-master
  209G  │ │   └─┬ GRIR443
   59G  │ │     ├── GRIR.wfc1
   29G  │ │     ├── GRIR.wfc2
   14G  │ │     └── GRIR.wfc4
  128G  │ ├─┬ cp2k
  128G  │ │ └─┬ FIST
   69G  │ │   ├── nodes
   55G  │ │   └── nodes_new
   71G  │ ├─┬ python
   71G  │ │ └─┬ miniconda3
   36G  │ │   ├── envs
   34G  │ │   └── pkgs
   60G  │ └── orca
   68G  ├─┬ MD
   67G  │ └── Softbark_wood
   22G  └─┬ Docking
   16G    └── COVID19

Kvóty podľa súborových systémov¶

Limity kvót sa líšia v závislosti od súborového systému.

Domovský adresár¶

Domovské adresáre /home/<user>/ sú určené pre zdrojový kód, konfiguračné súbory a malé datasety:

Devana

Vlastnosť	Limit
Kvóta	1 TB
Tvrdý limit	1.024 TB
Počet súborov	2,048,000 súborov

Projektové úložisko¶

Projektové úložisko /project/<project_id> je zdieľané medzi HPC clustroch a je určené pre zdieľané dáta vo výskumnom projekte.

Projektové kvóty

Projektové kvóty sa líšia na základe podaného projektu a uplatňujú sa na oba clustre.

Scratch úložisko¶

Scratch úložisko /scratch/<project_id> je určený pre dočasné dáta vytvorené počas výpočtov.

Scratch kvóty

Nakoľko by scratch úložisko malo obsahovať iba dočasné súbory, a dôležité výsledky by sa mali presunúť do projektového alebo dlhodobého úložiska, je momentálne toto úložisko na oboch clustroch bez kvót.

Prekročené kvóty¶

Ak prekročíte svoju kvótu, máte niekoľko možností:

Odstráňte zbytočné súbory a adresáre na uvoľnenie voľného miesta.
Komprimujte a archivujte veľké súbory na optimalizáciu využitia dát. Keďže zápisové práva v /home môžu byť pozastavené, môžete najprv presunúť dáta do /scratch, komprimovať ich a potom ich uložiť inde.
- Komprimujte súbory:
```
tar czvf /scratch/<project_id>/data_backup.tgz /home/<user>/<Directories-files-to-tar-and-zip>

cd /scratch/<project_id>
tar xzvf data_backup.tgz # Verify the content
rm /home/<user>/<Directories-files-to-tar-and-zip>
```
- Presuňte zálohu na dlhodobé úložisko:
```
cp /scratch/<project_id>/data_backup.tgz /project/<project_id>/data_backup.tgz
rm /scratch/<project_id>/data_backup.tgz
```
Dočasné riešenie

Toto riešenie je iba dočasné. Používatelia by mali čo najskôr stiahnuť dôležité súbory a uložiť ich bezpečne.
Požiadajte o dodatočnú kapacitu: Ak potrebujete viac miesta, vedúci projektu (PI) môže odoslať odôvodnenie pre zvýšenie alokácie úložiska.

Proaktívnym monitoringom a udržiavaním dát môžu používatelia zabezpečiť plynulý prístup k zdrojom bez prekročenia kvót.

Created by: Marek Štekláč, Marek Štekláč