Avere un account

Per richiedere un account sul cluster computazionale HTCF, invia un’email per maggiori informazioni.

Accesso

Utilizzare il Submit Node HTCF

Il server di login è htcf.wustl.edu

~$ ssh [email protected]

Se stai usando un server X localmente, puoi connetterti con -Y per alcune applicazioni grafiche.Una volta effettuato l’accesso, puoi creare uno spazio di lavoro interattivo o inviare lavori in batch.

~$ ssh -Y [email protected] 

Data & Archiviazione dati

Home Directories

Ogni account utente HTCF ha 20 GB di home directory. Questa directory può essere usata per memorizzare script, strumenti di sviluppo, ecc. Le directory home si trovano in “/home/WUSTL_KEY_ID” e sono disponibili su tutti i nodi. Sono tenute su uno storage fault-tolerant e vengono effettuati frequenti snapshot per prevenire la perdita accidentale di dati. Copie delle ultime istantanee giornaliere sono tenute fuori sede per scopi di disaster recovery.

Long Term Storage

LTS è usato per memorizzare dati grezzi e “finiti” del progetto. Le directory LTS non sono disponibili sui nodi del cluster. L’archiviazione a lungo termine è lo spazio del progetto del laboratorio, disponibile in incrementi di terabyte. E’ conservato su uno storage fault-tolerant con snapshops. Copie delle ultime istantanee giornaliere sono tenute fuori sede per scopi di disaster recovery.

High Throughput Storage

HTCF high throughput storage è un grande file system distribuito in grado di gestire più di 6GB/secondo di throughput totale. L’HTS è uno spazio scratch e non viene sottoposto a backup. Lo storage ad alta velocità è temporaneo. Non possiamo assolutamente recuperare nulla in /scratch una volta rimosso.

*I dati memorizzati in /scratch sono soggetti alla Scratch Data Cleaning Policy.

Più informazioni sono disponibili sulla nostra Data & Data Storage Page

Software

Lista del software disponibile su HTCF

module avail

Per caricare il software:

module load bowtie2

Per richiedere moduli software aggiuntivi, contattaci.

Più informazioni sono disponibili sulla nostra pagina del software

Software GUI

Poiché l’HTCF è principalmente un sistema di accodamento batch per l’elaborazione ad alta velocità di grandi quantità di dati, le applicazioni GUI non sono direttamente supportate dall’HTCF. L’installazione e la configurazione delle applicazioni GUI sull’HTCF sono lasciate all’utente finale.

Flusso di lavoro

I lavori seguono in genere un flusso di lavoro generico.

• A – I dati grezzi pre-elaborati entrano in LTS
• B – I dati grezzi sono copiati su scratch per l’elaborazione
• C – I dati post-elaborati sono copiati in LTS
• D – I dati intermedi generati nel passo B vengono rimossi

Partizioni

Jobs

Interattivo

Sessioni interattive sono per eseguire script interattivi, visualizzazione, qualsiasi compito che è troppo impegnativo dal punto di vista computazionale per essere eseguito sul nodo di accesso e che non viene inviato tramite sbatch. I valori predefiniti sono: 1 core della CPU, 1 GB di RAM e un limite di tempo di 8 ore.

Puoi creare una sessione interattiva eseguendo:

~$ interactive

o puoi modificare il seguente comando per adattarlo alle tue esigenze:

srun --mem=2000 --cpus-per-task=1 -J interactive -p interactive --pty /bin/bash -l

Invio lavoro in batch

• Determina risorse
• Crea file lavoro
• Crea file sbatch con risorse richieste
• Invia
• Monitoraggio

Esempi di lavoro

Crea uno script lavoro (myjob.sbatch):

#!/bin/bash#SBATCH --cpus-per-task=1#SBATCH --mem=1Gml programprogram /scratch/lab/files/ABC.fasta /scratch/lab/files/ABC.out

Invia lo script sbatch.

sbatch myjob.sbatch

Visualizza il lavoro nella coda

user@htcf:~$ squeueJOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)106 debug example example R 0:13 1 n067

GPUs

L’HTCF ha attualmente un piccolo numero di GPU NVIDIA Tesla V100.

Una GPU è accessibile utilizzando i seguenti parametri slurm:

#SBATCH -p gpu#SBATCH --gres=gpu