Uzyskanie konta

Aby uzyskać konto na klastrze obliczeniowym HTCF, wyślij wiadomość e-mail, aby uzyskać więcej informacji.

Dostęp

Używanie węzła Submit Node HTCF

Serwer logowania to htcf.wustl.edu

~$ ssh [email protected]

Jeśli lokalnie używasz serwera X, możesz połączyć się z opcją -Y dla niektórych aplikacji graficznych.Po zalogowaniu możesz utworzyć interaktywną przestrzeń roboczą lub przesyłać zadania wsadowe.

~$ ssh -Y [email protected] 

Dane &Przechowywanie danych

Katalogi domowe

Każde konto użytkownika HTCF ma katalog domowy o pojemności 20 GB. Ten katalog może być używany do przechowywania skryptów, narzędzi programistycznych itp. Katalogi domowe znajdują się w „/home/WUSTL_KEY_ID” i są dostępne na wszystkich węzłach. Są one przechowywane na odpornej na błędy pamięci masowej i często wykonywane są snapshopy, aby zapobiec przypadkowej utracie danych. Kopie ostatnich codziennych migawek są przechowywane poza siedzibą firmy dla celów odzyskiwania po awarii.

Long Term Storage

LTS jest używany do przechowywania surowych i „gotowych” danych projektu. Katalogi LTS nie są dostępne na węzłach klastra. Magazyn długoterminowy to przestrzeń projektowa laboratorium, dostępna w terabajtowych przyrostach. Jest ona przechowywana na odpornej na błędy pamięci masowej z snapshopami. Kopie najnowszych codziennych migawek są przechowywane poza siedzibą firmy do celów odzyskiwania danych po awarii.

High Throughput Storage

HTCF high throughput storage to duży, rozproszony system plików zdolny do obsługi ponad 6GB/sekundę całkowitej przepustowości. HTS jest przestrzenią typu scratch i nie jest backupowany. Pamięć masowa o wysokiej przepustowości jest tymczasowa. Nie możemy odzyskać niczego, co znajduje się w /scratch po usunięciu.

*Dane przechowywane w /scratch podlegają Zasadom czyszczenia danych Scratch.

Więcej informacji można znaleźć na naszej stronie dotyczącej przechowywania danych &Dane

Oprogramowanie

Lista oprogramowania dostępnego w HTCF

module avail

Aby załadować oprogramowanie:

module load bowtie2

Aby zamówić dodatkowe moduły oprogramowania, skontaktuj się z nami.

Więcej informacji jest dostępnych na naszej stronie Oprogramowanie

Oprogramowanie GUI

Jako że HTCF jest przede wszystkim systemem kolejkowania wsadowego do przetwarzania dużych ilości danych o wysokiej przepustowości, aplikacje GUI nie są bezpośrednio obsługiwane przez HTCF. Instalację i konfigurację aplikacji GUI w HTCF pozostawia się użytkownikowi końcowemu.

Przepływ pracy

Zadania zazwyczaj przebiegają zgodnie z ogólnym przepływem pracy.

• A – Wstępnie przetworzone dane surowe trafiają do LTS
• B – Dane surowe są kopiowane do bazy w celu przetworzenia
• C – Dane po przetworzeniu są kopiowane do LTS
• D Intermediate data generated in Step B is removed

Partitions

.

Jobs

Interactive

Sesje interaktywne służą do uruchamiania interaktywnych skryptów, wizualizacji, wszelkich zadań, które są zbyt intensywne obliczeniowo, aby uruchomić je na węźle logowania, a nie są przesyłane przez sbatch. Domyślne ustawienia to: 1 rdzeń CPU, 1 GB RAM, oraz limit czasowy 8 godzin.

Możesz utworzyć sesję interaktywną, uruchamiając:

~$ interactive

lub możesz zmodyfikować poniższe polecenie, aby dopasować je do swoich wymagań:

srun --mem=2000 --cpus-per-task=1 -J interactive -p interactive --pty /bin/bash -l

Przesyłanie zadań wsadowych

• Określ zasoby
• Utwórz plik zadania
• Utwórz plik sbatch z wymaganymi zasobami
• Przesyłaj
• Monitoruj

Przykłady zadań wsadowych

Utwórz skrypt zadania (myjob.sbatch):

#!/bin/bash#SBATCH --cpus-per-task=1#SBATCH --mem=1Gml programprogram /scratch/lab/files/ABC.fasta /scratch/lab/files/ABC.out

Wyślij skrypt sbatch.

sbatch myjob.sbatch

Przeglądaj zadanie w kolejce

user@htcf:~$ squeueJOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)106 debug example example R 0:13 1 n067

GPUs

Fotel HTCF posiada obecnie niewielką liczbę procesorów graficznych NVIDIA Tesla V100.

Dostęp do procesora graficznego jest możliwy za pomocą następujących parametrów slurma:

#SBATCH -p gpu#SBATCH --gres=gpu

.