AI agenti¶
Táto sekcia opisuje dostupných AI agentov na programovanie a spôsob ich používania v prostredí HPC.
Dostupní agenti¶
| Agent | Poskytovateľ modelu | Prostredie spustenia | Prístup k modelu |
|---|---|---|---|
| Claude Code | Anthropic | Kontajner Singularity na prihlasovacom uzle | Priame pripojenie k API Anthropic |
| Qwen Code | Interne prevádzkovaný model | Kontajner Singularity na prihlasovacom uzle | Server vLLM spustený na GPU uzle |
Obaja agenti pomáhajú s programovaním, správou súborov, riešením problémov a automatizáciou. Dokážu tiež komunikovať so SLURM, takže môžu odosielať a monitorovať výpočtové úlohy.
Spúšťanie modelov¶
Qwen Code vyžaduje spustený server jazykového modelu. Modely sa poskytujú pomocou vLLM v rámci SLURM alokácie na GPU uzle.
Pokyny na spustenie a správu serverov modelov nájdete v dokumente Spúšťanie LLM pomocou vLLM.
Claude Code nevyžaduje lokálny server modelu. Pripája sa priamo k API spoločnosti Anthropic.
Spúšťanie agentov¶
Na clustri Perun/Devana¶
Oboch agentov možno spustiť z prihlasovacieho uzla clusterov Perun/Devana pomocou príslušných kontajnerov Singularity.
- Claude Code – používa API Anthropic.
- Qwen Code – pripája sa k vlastnému serveru vLLM spustenému na GPU uzle.
Pred spustením Qwen Code musí byť aktívny server vLLM. Spúšťací skript zabezpečí pripojenie k príslušnému serveru.
Z lokálnej pracovnej stanice¶
Qwen Code možno spustiť aj na lokálnej pracovnej stanici a pritom používať vLLM model poskytovaný na clustroch Perun/Devana.
Toto zapojenie využíva dvojúrovňový SSH tunel:
- Pracovná stanica sa pripojí k prihlasovaciemu uzlu Perun.
- Prihlasovací uzol presmeruje spojenie na výpočtový GPU uzol.
- Qwen Code komunikuje s API vLLM cez vytvorený tunel.
Pokyny na konfiguráciu a používanie nájdete v dokumente Pripojenie Qwen Code k externému serveru vLLM.
Správa zdrojov a bezpečnosť¶
AI agenti môžu spúšťať príkazy, upravovať súbory a pracovať s prostredím clustra. Majte na pamäti nasledujúce zásady:
- Výpočtovo náročné úlohy spúšťajte prostredníctvom SLURM, nie priamo na prihlasovacích uzloch.
- Na inferenciu modelov náročnú na GPU používajte SLURM alokácie.
- Pred povolením vykonania príkazov alebo úprav súborov ich skontrolujte.
- Chráňte API kľúče a ostatné prihlasovacie údaje.
- Servery modelov ponechávajte spustené iba počas času, keď ich potrebujete.