Contabilizar

Para solicitar uma conta no cluster computacional HTCF, envie um e-mail para mais informações.

Acesso

Utilizando o nó de submissão do HTCF

O servidor de login é htcf.wustl.edu

~$ ssh [email protected]

Se você estiver usando um servidor X localmente, você pode se conectar com -Y para algumas aplicações gráficas. Uma vez conectado, você pode criar um espaço de trabalho interativo ou enviar trabalhos em lote.

~$ ssh -Y [email protected] 

Dados &Armazenamento de Dados

Diretórios Domésticos

Cada conta de usuário HTCF tem 20GB de diretório home. Este diretório pode ser usado para armazenar scripts, ferramentas de desenvolvimento, etc. Os diretórios home estão localizados em “/home/WUSTL_KEY_ID” e estão disponíveis em todos os nós. Eles são mantidos em armazenamento tolerante a falhas e snapshops frequentes são tomados para evitar a perda acidental de dados. Cópias dos últimos snapshots diários são mantidas fora do local para fins de recuperação de desastres.

Long Term Storage

LTS é usado para armazenar dados brutos e “acabados” do projeto. Os diretórios LTS não estão disponíveis nos nós de cluster. O armazenamento a longo prazo é espaço de projeto de laboratório, disponível em incrementos de terabytes. É mantido em armazenamento tolerante a falhas, com snapshops. Cópias dos últimos snapshots diários são mantidas fora do local para fins de recuperação de desastres.

High Throughput Storage

HTCF high throughput storage é um sistema de arquivo grande e desconfigurado capaz de lidar com mais de 6GB/segundo de rendimento total. O HTS é espaço para arranhões e não tem backup. O armazenamento de alta taxa de transferência é temporário. Não podemos absolutamente recuperar nada em /scratch uma vez removido.

*Os dados armazenados em /scratch estão sujeitos à Política de Limpeza de Dados de Raspadinha.

Mais informação está disponível em nossos dados & Página de armazenamento de dados

Software

Lista o software disponível no HTCF

module avail

Para carregar o software:

module load bowtie2

Para solicitar módulos de software adicionais, por favor entre em contato conosco.

Mais informação está disponível na nossa página de software

GUI Software

Como o HTCF é principalmente um sistema de fila de espera em lote para processamento de grandes quantidades de dados, a aplicação GUI não é directamente suportada pelo HTCF. A instalação e configuração da aplicação GUI no HTCF são deixadas ao utilizador final.

Workflow

Jobs normalmente seguem um fluxo de trabalho genérico.

• A – Dados Brutos Pré-Processados Entra LTS
• B – Dados Brutos são copiados para scratch para processamento
• C – Dados Pós-processados são copiados para LTS
• D – Dados intermediários gerados no Passo B são removidos

Partições

Jobs

Interactiva

Sessões interactivas são para executar scripts interactivos, vizualização, quaisquer tarefas que sejam demasiado computacionais para serem executadas no nó de login não submetidas via sbatch. As predefinições são: 1 núcleo de CPU, 1 GB de RAM, e um limite de tempo de 8 horas.

Você pode criar uma sessão interativa executando:

~$ interactive

ou você pode modificar o seguinte comando para atender às suas necessidades:

srun --mem=2000 --cpus-per-task=1 -J interactive -p interactive --pty /bin/bash -l

Submissão de trabalhos em lote

• Determinar recursos
• Criar ficheiro de trabalhos
• Criar ficheiro de trabalhos em lote com os recursos necessários
• Submeter
• Monitor

Exemplos de trabalhos em lote

Criar um script de trabalhos (myjob.sbatch):

#!/bin/bash#SBATCH --cpus-per-task=1#SBATCH --mem=1Gml programprogram /scratch/lab/files/ABC.fasta /scratch/lab/files/ABC.out

Submeter o script sbatch.

sbatch myjob.sbatch

Ver o trabalho na fila

user@htcf:~$ squeueJOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)106 debug example example R 0:13 1 n067

GPUs

O HTCF tem actualmente um pequeno número de GPUs NVIDIA Tesla V100.

Uma GPU é acessível utilizando os seguintes parâmetros slurm:

#SBATCH -p gpu#SBATCH --gres=gpu