Obtenir un compte

Pour demander un compte sur le cluster de calcul HTCF, veuillez envoyer un courriel pour plus d’informations.

Accès

Utilisation du nœud de soumission HTCF

Le serveur de connexion est htcf.wustl.edu

~$ ssh [email protected]

Si vous utilisez un serveur X localement, vous pouvez vous connecter avec -Y pour certaines applications graphiques.Une fois connecté, vous pouvez créer un espace de travail interactif ou soumettre des travaux par lots.

~$ ssh -Y [email protected] 

Données &Stockage de données

Répertoires personnels

Chaque compte d’utilisateur HTCF dispose d’un répertoire personnel de 20 Go. Ce répertoire peut être utilisé pour stocker des scripts, des outils de développement, etc. Les répertoires personnels sont situés dans « /home/WUSTL_KEY_ID » et sont disponibles sur tous les nœuds. Ils sont conservés sur un stockage tolérant aux pannes et des snapshops fréquents sont effectués pour éviter toute perte accidentelle de données. Des copies des derniers instantanés quotidiens sont conservées hors site à des fins de reprise après sinistre.

Long Term Storage

LTS est utilisé pour stocker les données brutes et « finies » des projets. Les répertoires LTS ne sont pas disponibles sur les nœuds du cluster. Le stockage à long terme est un espace de projet de laboratoire, disponible par incréments de téraoctets. Il est conservé sur un stockage tolérant aux pannes avec des snapshops. Des copies des derniers instantanés quotidiens sont conservées hors site à des fins de reprise après sinistre.

Stockage à haut débit

Le stockage à haut débit HTCF est un grand système de fichiers distrubué capable de gérer plus de 6 Go/seconde de débit total. Le HTS est un espace scratch et n’est pas sauvegardé. Le stockage à haut débit est temporaire. Nous ne pouvons absolument pas récupérer quoi que ce soit dans /scratch une fois supprimé.

*Les données stockées dans /scratch sont soumises à la politique de nettoyage des données de scratch.

Plus d’informations sont disponibles sur notre page de stockage de données &

Software

Liste des logiciels disponibles sur HTCF

module avail

Pour charger le logiciel:

module load bowtie2

Pour demander des modules logiciels supplémentaires, veuillez nous contacter.

Plus d’informations sont disponibles sur notre page de logiciels

Les logiciels GUI

Comme le HTCF est principalement un système de mise en file d’attente par lots pour le traitement à haut débit de grandes quantités de données, l’application GUI n’est pas directement prise en charge par le HTCF. L’installation et la configuration des applications GUI sur le HTCF sont laissées à l’utilisateur final.

Workflow

Les tâches suivent généralement un workflow générique.

• A – Les données brutes prétraitées entrent dans le LTS
• B – Les données brutes sont copiées dans le scratch pour être traitées
• C – Les données post-traitées sont copiées dans le LTS
• D -. Les données intermédiaires générées à l’étape B sont supprimées

Partitions

.

Jobs

Interactive

Les sessions interactives sont destinées à l’exécution de scripts interactifs, vizualisation, toutes les tâches qui sont trop intensives en calcul pour être exécutées sur le nœud de connexion non soumises via sbatch. Les valeurs par défaut sont : 1 cœur de processeur, 1 Go de RAM, et une limite de temps de 8 heures.

Vous pouvez créer une session interactive en exécutant :

~$ interactive

ou vous pouvez modifier la commande suivante pour l’adapter à vos besoins :

srun --mem=2000 --cpus-per-task=1 -J interactive -p interactive --pty /bin/bash -l

Soumission de travaux par lots

• Détermination des ressources
• Création du fichier de travaux
• Création du fichier sbatch avec les ressources requises
• Soumission
• Surveillance

Exemples de travaux par lots

Création d’un script de travaux (myjob.sbatch):

#!/bin/bash#SBATCH --cpus-per-task=1#SBATCH --mem=1Gml programprogram /scratch/lab/files/ABC.fasta /scratch/lab/files/ABC.out

Soumettre le script sbatch.

sbatch myjob.sbatch

Voir le travail dans la file d’attente

user@htcf:~$ squeueJOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)106 debug example example R 0:13 1 n067

GPUs

Le HTCF dispose actuellement d’un petit nombre de GPU NVIDIA Tesla V100.

Un GPU est accessible à l’aide des paramètres slurm suivants:

#SBATCH -p gpu#SBATCH --gres=gpu

.