Prenos dát z/na Perun cluster na TUKE¶

Úvod¶

Cluster Perun je prevádzkovaný na Technickej univerzite v Košiciach (TUKE) a poskytuje dedikovanú infraštruktúru na prenos dát medzi Slovenskou akadémiou vied (SAV) a TUKE. Na tento účel sú k dispozícii dedikované prenosové uzly, vďaka ktorým je možné prenášať dáta bez zbytočného zaťažovania prihlasovacích uzlov clustra Perun.

Na prenos dát sa odporúča používať nástroje rsync a scp. Nižšie sú opísané dedikované prenosové uzly a ich pripojenie k TUKE, po ktorých nasleduje prehľad dostupných nástrojov na prenos dát.

Prenosové uzly¶

Prenosy musia byť vykonávané prostredníctvom dedikovaných prenosových uzlov:

data01
data02

Tieto uzly sú optimalizované na prenos veľkého množstva dát a sú pripojené k TUKE prostredníctvom 2 × 100 Gb/s linky. Súborové systémy ako /home a /project sú na týchto uzloch priamo namountované, čo umožňuje efektívny priamy prenos dát. Služba je dostupná všetkým integrovaným používateľom bez potreby ďalšej konfigurácie.

Oba prenosové uzly sú dostupné pomocou príkazu ssh z prihlasovacích uzlov clustra Perun:

ssh data01

Na strane TUKE sú príslušnými prenosovými bodmi:

10.101.40.16
10.101.40.17

V nasledujúcich príkladoch označuje <TUKE_HOST> jednu z týchto adries.

Prihlasovacie uzly

Používanie prihlasovacích uzlov na veľké prenosy dát sa neodporúča. Na prenos dát by sa mali vždy používať uzly data01 alebo data02, aby prenosy zbytočne neovplyvňovali výkon a stabilitu prihlasovacích uzlov.

Predpoklady¶

Na použitie prenosovej služby musia byť splnené nasledujúce podmienky:

účet musí byť integrovaný s TUKE,
musí byť k dispozícii platný SSH prístup,
pripojenie musí byť vykonané prostredníctvom uzla data01 alebo data02.

Ak účet ešte nebol integrovaný, je potrebné postupovať podľa postupu opísaného v sekcii Integrácia účtu používateľa.

Nástroje na prenos dát¶

Prenosy dát medzi SAV a lokalitou clustra Perun na TUKE sa vykonávajú pomocou nástrojov založených na SSH. Podporované nástroje sú:

rsync – odporúčaný pre väčšinu prípadov použitia,
scp – vhodný na jednoduché jednorazové prenosy.

Podrobné pokyny na používanie týchto nástrojov sú uvedené v dokumentácii o prenose dát.

rsync namiesto scp

Vo väčšine prípadov sa uprednostňuje rsync vďaka jeho efektívnosti a možnosti pokračovať v prerušených prenosoch. scp je vhodnejší na malé alebo jednoduché operácie, pri ktorých je hlavnou požiadavkou jednoduchosť použitia.

Created by: Marek Štekláč, Marek Štekláč