Obținerea unui cont

Pentru a solicita un cont pe clusterul de calcul HTCF, vă rugăm să trimiteți un e-mail pentru mai multe informații.

Acces

Utilizarea nodului de trimitere HTCF

Serverul de conectare este htcf.wustl.edu

~$ ssh [email protected]

Dacă utilizați un server X la nivel local, vă puteți conecta cu -Y pentru unele aplicații grafice. odată logat, puteți crea un spațiu de lucru interactiv sau trimite lucrări pe loturi.

~$ ssh -Y [email protected] 

Date & Stocarea datelor

Directoare personale

Care cont de utilizator HTCF are un director personal de 20GB. Acest director poate fi folosit pentru a stoca scripturi, instrumente de dezvoltare, etc. Directoarele de acasă sunt localizate în „/home/WUSTL_KEY_ID” și sunt disponibile pe toate nodurile. Acestea sunt păstrate pe un sistem de stocare cu toleranță la erori și se fac snapshop-uri frecvente pentru a preveni pierderea accidentală a datelor. Copii ale celor mai recente instantanee zilnice sunt păstrate în afara site-ului în scopul recuperării în caz de dezastru.

Long Term Storage

LTS este utilizat pentru a stoca date brute și date „finalizate” ale proiectului. Directoarele LTS nu sunt disponibile pe nodurile de cluster. Stocarea pe termen lung este spațiu de proiect de laborator, disponibil în creșteri de terabyte. Acesta este păstrat pe un spațiu de stocare tolerant la erori, cu snapshop-uri. Copii ale celor mai recente instantanee zilnice sunt păstrate în afara site-ului în scopul recuperării în caz de dezastru.

Stocare de mare viteză

Stocarea de mare viteză HTCF este un sistem de fișiere mare, distribuit, capabil să gestioneze o viteză totală de peste 6GB/secundă. HTS este spațiu de zgârieturi și nu face obiectul unei copii de rezervă. Stocarea de mare viteză este temporară. Nu putem absolut deloc să recuperăm nimic din /scratch odată ce a fost eliminat.

*Datele stocate în /scratch sunt supuse Politicii de curățare a datelor Scratch.

Mai multe informații sunt disponibile pe pagina noastră de stocare a datelor & Data Storage Page

Software

Înumeră software-ul disponibil pe HTCF

module avail

Pentru a încărca software-ul:

module load bowtie2

Pentru a solicita module software suplimentare, vă rugăm să ne contactați.

Mai multe informații sunt disponibile pe pagina noastră de software

Software GUI

Ca urmare a faptului că HTCF este în primul rând un sistem de coadă de așteptare pe loturi pentru procesarea de mare viteză a unor cantități mari de date, aplicațiile GUI nu sunt suportate direct de HTCF. Instalarea și configurarea aplicațiilor GUI pe HTCF sunt lăsate la latitudinea utilizatorului final.

Fluxul de lucru

Job-urile urmează de obicei un flux de lucru generic.

• A – Datele brute preprocesate intră în LTS
• B – Datele brute sunt copiate la scratch pentru procesare
• C – Datele postprocesate sunt copiate în LTS
• D – Datele postprocesate sunt copiate în LTS
• D – Datele intermediare generate în etapa B sunt eliminate

Partiții

.

Jobs

Interactive

Sesiunile interactive sunt pentru rularea scripturilor interactive, vizualizare, orice sarcini care sunt prea intensive din punct de vedere computațional pentru a fi rulate pe nodul de conectare și care nu sunt transmise prin sbatch. Valorile implicite sunt: 1 nucleu CPU, 1 GB RAM și o limită de timp de 8 ore.

Puteți crea o sesiune interactivă executând:

~$ interactive

sau puteți modifica următoarea comandă pentru a se potrivi cerințelor dumneavoastră:

srun --mem=2000 --cpus-per-task=1 -J interactive -p interactive --pty /bin/bash -l

Submitere lucrare pe lot

• Determinare resurse
• Creare fișier de lucrare
• Creare fișier sbatch cu resursele necesare
• Submitere
• Monitorizare

Exemple de lucrări pe lot

Creare un script de lucrare (myjob.sbatch):

#!/bin/bash#SBATCH --cpus-per-task=1#SBATCH --mem=1Gml programprogram /scratch/lab/files/ABC.fasta /scratch/lab/files/ABC.out

Submiteți scriptul sbatch.

sbatch myjob.sbatch

Veziți lucrarea în coada de așteptare

user@htcf:~$ squeueJOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)106 debug example example R 0:13 1 n067

GPUs

HTCF are în prezent un număr mic de GPU NVIDIA Tesla V100.

Un GPU este accesibil folosind următorii parametri slurm:

#SBATCH -p gpu#SBATCH --gres=gpu

.