Konto einrichten

Um ein Konto für den HTCF-Rechencluster anzufordern, senden Sie bitte eine E-Mail, um weitere Informationen zu erhalten.

Zugang

Benutzung des HTCF Submit Node

Der Anmeldeserver ist htcf.wustl.edu

~$ ssh [email protected]

Wenn Sie lokal einen X-Server verwenden, können Sie für einige grafische Anwendungen eine Verbindung mit -Y herstellen.

~$ ssh -Y [email protected] 

Daten &Datenspeicherung

Home-Verzeichnisse

Jedes HTCF-Benutzerkonto hat ein 20 GB großes Home-Verzeichnis. Dieses Verzeichnis kann zum Speichern von Skripten, Entwicklungstools usw. verwendet werden. Die Heimatverzeichnisse befinden sich in „/home/WUSTL_KEY_ID“ und sind auf allen Knoten verfügbar. Sie werden auf einem fehlertoleranten Speicher aufbewahrt, und es werden regelmäßig Snapshots erstellt, um einen versehentlichen Datenverlust zu verhindern. Kopien der letzten täglichen Snapshots werden für Disaster-Recovery-Zwecke extern aufbewahrt.

Langzeitspeicher

LTS wird zur Speicherung von Rohdaten und „fertigen“ Projektdaten verwendet. Die LTS-Verzeichnisse sind auf den Clusterknoten nicht verfügbar. Der Langzeitspeicher ist ein Laborprojektspeicher, der in Terabyte-Schritten verfügbar ist. Er wird auf einem fehlertoleranten Speicher mit Snapshops aufbewahrt. Kopien der letzten täglichen Snapshots werden für Disaster-Recovery-Zwecke ausgelagert.

Hochdurchsatzspeicher

HTCF-Hochdurchsatzspeicher ist ein großes, verteiltes Dateisystem, das einen Gesamtdurchsatz von mehr als 6 GB/Sekunde bewältigen kann. Der HTS ist Scratch-Speicher und wird nicht gesichert. High-Throughput-Storage ist temporär. Wir können nichts in /scratch wiederherstellen, wenn es einmal entfernt wurde.

*Daten, die in /scratch gespeichert sind, unterliegen der Scratch Data Cleaning Policy.

Weitere Informationen finden Sie auf unserer Data & Data Storage Page

Software

Liste der auf HTCF verfügbaren Software

module avail

Um die Software zu laden:

module load bowtie2

Wenn Sie zusätzliche Softwaremodule benötigen, kontaktieren Sie uns bitte.

Weitere Informationen finden Sie auf unserer Software-Seite

GUI-Software

Da der HTCF in erster Linie ein Batch-Warteschlangensystem für die Verarbeitung großer Datenmengen mit hohem Durchsatz ist, werden GUI-Anwendungen nicht direkt vom HTCF unterstützt. Die Installation und Einrichtung von GUI-Anwendungen auf dem HTCF wird dem Endbenutzer überlassen.

Workflow

Jobs folgen typischerweise einem generischen Workflow.

• A – Vorverarbeitete Rohdaten werden in den LTS eingegeben
• B – Rohdaten werden zur Verarbeitung in den Scratch kopiert
• C – Nachverarbeitete Daten werden in den LTS kopiert
• D. In Schritt B erzeugte Zwischendaten werden entfernt

Partitionen

Jobs

Interaktiv

Interaktive Sitzungen sind für die Ausführung interaktiver Skripte, Vizualisierung, alle Aufgaben, die zu rechenintensiv sind, um sie auf dem Login-Knoten auszuführen und nicht über sbatch übermittelt werden. Die Standardeinstellungen sind: 1 CPU-Kern, 1 GB RAM, und ein Zeitlimit von 8 Stunden.

Sie können eine interaktive Sitzung erstellen, indem Sie Folgendes ausführen:

~$ interactive

oder Sie können den folgenden Befehl an Ihre Anforderungen anpassen:

srun --mem=2000 --cpus-per-task=1 -J interactive -p interactive --pty /bin/bash -l

Batch Job Submission

• Ressourcen bestimmen
• Job-Datei erstellen
• Sbatch-Datei mit erforderlichen Ressourcen erstellen
• Submit
• Monitor

Sbatch Beispiele

Erstellen Sie ein Job-Skript (myjob.sbatch):

#!/bin/bash#SBATCH --cpus-per-task=1#SBATCH --mem=1Gml programprogram /scratch/lab/files/ABC.fasta /scratch/lab/files/ABC.out

Senden Sie das sbatch-Skript.

sbatch myjob.sbatch

Betrachten Sie den Job in der Warteschlange

user@htcf:~$ squeueJOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)106 debug example example R 0:13 1 n067

GPUs

Das HTCF verfügt derzeit über eine kleine Anzahl von NVIDIA Tesla V100-GPUs.

Eine GPU ist über die folgenden Slurm-Parameter zugänglich:

#SBATCH -p gpu#SBATCH --gres=gpu