Získání účtu

Chcete-li požádat o účet na výpočetním clusteru HTCF, napište si o další informace.

Přístup

Použití uzlu HTCF Submit

Přihlašovací server je htcf.wustl.edu

~$ ssh [email protected]

Pokud používáte lokální server X, můžete se pro některé grafické aplikace připojit pomocí -Y. Po přihlášení můžete vytvořit interaktivní pracovní prostor nebo odesílat dávkové úlohy.

~$ ssh -Y [email protected] 

Data &Úložiště dat

Domácí adresáře

Každý uživatelský účet HTCF má 20GB domácí adresář. Tento adresář může sloužit k ukládání skriptů, vývojových nástrojů atd. Domovské adresáře jsou umístěny v adresáři „/home/WUSTL_KEY_ID“ a jsou dostupné ve všech uzlech. Jsou uchovávány na úložišti odolném proti chybám a jsou prováděny časté snapshopy, aby se zabránilo náhodné ztrátě dat. Kopie posledních denních snímků jsou uchovávány mimo pracoviště pro účely obnovy po havárii.

Dlouhodobé úložiště

Dlouhodobé úložiště se používá k ukládání nezpracovaných a „hotových“ dat projektu. Adresáře LTS nejsou v uzlech clusteru k dispozici. Dlouhodobé úložiště je prostor pro laboratorní projekty, který je k dispozici v terabajtových přírůstcích. Je uložen v úložišti odolném proti chybám pomocí snapshopů. Kopie posledních denních snapshotů jsou uchovávány mimo pracoviště pro účely obnovy po havárii.

Vysokokapacitní úložiště

Vysokokapacitní úložiště HTCF je velký distrubuovaný souborový systém, který je schopen zpracovat více než 6 GB/s celkové propustnosti. HTSF je scratchovací prostor a není zálohován. Úložiště s vysokou propustností je dočasné. Po vyjmutí z úložiště /scratch nemůžeme absolutně nic obnovit.

*Data uložená v /scratch podléhají zásadám čištění dat ze scratche.

Další informace naleznete na naší stránce Data &Úložiště dat

Software

Seznam softwaru dostupného na HTCF

module avail

Pro nahrání softwaru:

module load bowtie2

Chcete-li požádat o další softwarové moduly, kontaktujte nás.

Další informace naleznete na naší stránce o softwaru

Software GUI

Jelikož je HTCF především dávkový řadicí systém pro vysoce výkonné zpracování velkého množství dat, nejsou aplikace GUI přímo podporovány systémem HTCF. Instalace a nastavení aplikací GUI v systému HTCF jsou ponechány na koncovém uživateli.

Pracovní postup

Úlohy se obvykle řídí obecným pracovním postupem.

• A – Předzpracovaná nezpracovaná data vstupují do LTS
• B – Nezpracovaná data jsou zkopírována do scratche ke zpracování
• C – Následně zpracovaná data jsou zkopírována do LTS
• D – Předzpracovaná data jsou zkopírována do LTS. Mezidata vytvořená v kroku B jsou odstraněna

Partitions

Jobs

Interaktivní

Interaktivní relace slouží ke spouštění interaktivních skriptů, vizualizace, jakékoliv úlohy, které jsou příliš náročné na výpočetní výkon, aby mohly být spuštěny na přihlašovacím uzlu a nebyly odeslány prostřednictvím sbatch. Výchozí nastavení jsou: 1 jádro CPU, 1 GB RAM a časový limit 8 hodin.

Interaktivní relaci můžete vytvořit spuštěním:

~$ interactive

nebo můžete upravit následující příkaz tak, aby vyhovoval vašim požadavkům:

srun --mem=2000 --cpus-per-task=1 -J interactive -p interactive --pty /bin/bash -l

Dávkové odeslání úlohy

• Určit zdroje
• Vytvořit soubor úlohy
• Vytvořit soubor sbatch s požadovanými zdroji
• Odeslat
• Monitorovat

Příklady dávek

Vytvořte skript úlohy (myjob.sbatch):

#!/bin/bash#SBATCH --cpus-per-task=1#SBATCH --mem=1Gml programprogram /scratch/lab/files/ABC.fasta /scratch/lab/files/ABC.out

Odeslání skriptu sbatch.

sbatch myjob.sbatch

Zobrazení úlohy ve frontě

user@htcf:~$ squeueJOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)106 debug example example R 0:13 1 n067

GPU

V současné době má HTCF malý počet grafických procesorů NVIDIA Tesla V100.

GPU je přístupný pomocí následujících parametrů slurm:

#SBATCH -p gpu#SBATCH --gres=gpu

.