Getting an Account

Para solicitar una cuenta en el cluster computacional HTCF, envíe un correo electrónico para obtener más información.

Access

Using the HTCF Submit Node

El servidor de login es htcf.wustl.edu

~$ ssh [email protected]

Si está utilizando un servidor X localmente, puede conectarse con -Y para algunas aplicaciones gráficas.Una vez conectado, puede crear un espacio de trabajo interactivo o enviar trabajos por lotes.

~$ ssh -Y [email protected] 

Datos &Almacenamiento de datos

Directorios home

Cada cuenta de usuario HTCF tiene un directorio home de 20GB. Este directorio puede utilizarse para almacenar scripts, herramientas de desarrollo, etc. Los directorios home se encuentran en «/home/WUSTL_KEY_ID» y están disponibles en todos los nodos. Se guardan en un almacenamiento tolerante a fallos y se realizan snapshops frecuentes para evitar la pérdida accidental de datos. Se guardan copias de las últimas instantáneas diarias fuera del sitio para fines de recuperación de desastres.

Almacenamiento a largo plazo

El LTS se utiliza para almacenar datos de proyectos en bruto y «terminados». Los directorios LTS no están disponibles en los nodos del clúster. El almacenamiento a largo plazo es el espacio del proyecto de laboratorio, disponible en incrementos de terabytes. Se mantiene en un almacenamiento tolerante a fallos con snapshops. Las copias de las últimas instantáneas diarias se guardan fuera del sitio para fines de recuperación de desastres.

Almacenamiento de alto rendimiento

El almacenamiento de alto rendimiento HTCF es un sistema de archivos grande y distribuido capaz de manejar más de 6GB/segundo de rendimiento total. El HTS es un espacio de rascado y no se hace una copia de seguridad. El almacenamiento de alto rendimiento es temporal. No podemos recuperar absolutamente nada en /scratch una vez eliminado.

*Los datos almacenados en /scratch están sujetos a la Política de Limpieza de Datos de Scratch.

Más información está disponible en nuestra Página de Almacenamiento de Datos &

Software

Lista del software disponible en HTCF

module avail

Para cargar el software:

module load bowtie2

Para solicitar módulos de software adicionales, póngase en contacto con nosotros.

Puede encontrar más información en nuestra página de software

Software GUI

Como el HTCF es principalmente un sistema de colas por lotes para el procesamiento de alto rendimiento de grandes cantidades de datos, la aplicación GUI no es soportada directamente por el HTCF. La instalación y configuración de la aplicación GUI en el HTCF se deja al usuario final.

Flujo de trabajo

Los trabajos suelen seguir un flujo de trabajo genérico.

• A – Los datos brutos preprocesados entran en el LTS
• B – Los datos brutos se copian en el scratch para su procesamiento
• C – Los datos postprocesados se copian en el LTS
• D – Se eliminan los datos intermedios generados en el paso B

Particiones

Trabajos

Interactivo

Las sesiones interactivas son para ejecutar scripts interactivos, vizualización, cualquier tarea que sea demasiado intensiva en términos computacionales para ejecutarse en el nodo de inicio de sesión que no se envíe a través de sbatch. Los valores por defecto son: 1 núcleo de CPU, 1 GB de RAM y un límite de tiempo de 8 horas.

Puede crear una sesión interactiva ejecutando:

~$ interactive

o puede modificar el siguiente comando para adaptarlo a sus necesidades:

srun --mem=2000 --cpus-per-task=1 -J interactive -p interactive --pty /bin/bash -l

Envío de trabajos por lotes

• Determinar recursos
• Crear archivo de trabajo
• Crear archivo sbatch con los recursos necesarios
• Enviar
• Monitorear

Ejemplos de trabajos por lotes

Crear un script de trabajo (myjob.sbatch):

#!/bin/bash#SBATCH --cpus-per-task=1#SBATCH --mem=1Gml programprogram /scratch/lab/files/ABC.fasta /scratch/lab/files/ABC.out

Enviar el script sbatch.

sbatch myjob.sbatch

Ver el trabajo en la cola

user@htcf:~$ squeueJOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)106 debug example example R 0:13 1 n067

GPUs

El HTCF tiene actualmente un pequeño número de GPUs NVIDIA Tesla V100.

Se puede acceder a una GPU utilizando los siguientes parámetros de slurm:

#SBATCH -p gpu#SBATCH --gres=gpu