Nova partició WORK (18/10/2012)

La partició /work accessible a tot el sistema de clúster ens proporciona un sistema de fitxers compartit per NFS on els càlculs puguin escriure intensivament sense afectar directament el directori /users i el servidor principal kirk.

En aquest sistema de fitxers /work hi ha un directori per a cada grup: serq, dynamics, struct i transmet. Cada grup hi té una quota que s'anirà modulant segons les necessitats, per ara: 800GB dynamics, struct i transmet i 400GB serq. Per consultar la vostra quota heu d'usar l'script quota-work.sh a picard o locutus. Per exemple:


Picard:/users/carles>quota-work.sh

Disk quotas for group serq (gid 1011):

Filesystem blocks quota limit grace files quota limit grace

192.168.3.1:/QFsoft/ 4 9216M 10240M 1 0 0

192.168.3.173:/work/ 0 400G 450G 1 500k 550k

Com que es tracta d'un sistema amb vocació d'scratch no local no tindrà cap tipus de backup.

Es munta automàticament a tots els nodes (borg1, borg2, qdynamics7, transmet5 i qgetab2) i a picard/locutus quan necessiteu accedir-hi. Per tant, per muntar-lo haureu de fer a picard, per exemple, cd /work/transmet si sou del grup transmet. No tindreu permís d'escriptura si aneu al directori d'un altre grup.

Respecte l'ús, tingueu present que això sempre serà més lent que escriure a l'scratch dels discos, localment, i que, per tant, només s'hauria de fer servir per casos concrets i pels que programes que així ho necessitin. Per exemple, pot ser interessant per CP2K i determinats càlculs de CHARMM.

Per ara, l'únic script.pl que permet l'opció automàtica d'usar el sistema work és cp2k.pl. Usaré un exemple amb aquest script per explicar-me millor:

*Vull enviar un càlcul de 8 processadors cp2k a la cua borg1 i emprar la partició work:

cp2k.pl -work -q borg1 -n 8 input ./

Si miro l'script.pbs veig que hi ha la següent informació:


##############################################

cd /work/serq (va al directori serq)

mkdir input.201210170924 (crea un directori temporal)

export WORKDIR=/work/serq/input.20120170924 (exporto aquest directori com a workdir)

cp $PBS_O_WORKDIR/* $WORKDIR/ (copio la informació del directori de treball on sóc fins al directori que hem creat per a mi a /work)

exec=`which cp2k.popt` (executable)


cd $WORKDIR (vaig al directori on faré el càlcul)

#Infiniband

mpirun -np 8 -mca blt self,openib $exec -i -input -o /users/XXXXX/input.out (executa el càlcul, l'output me'l genera al directori de treball o bé on jo li he dit)

cp $WORKDIR/* $PBS_O_WORKDIR (copia tota la informació que hi ha al directori de /work al directori de treball. Compte si hi ha fitxers que es diuen igual a l'inici del treball, com per exemple un output antic on no heu canviat el nom i que es digui igual que el que et genera el programa (input.out, p.ex) perquè en aquest cas, quan acabi el càlcul el fitxer es copiarà a sobre i perdreu l'output que estaveu usant)

rm -rf $WORKDIR (finalment esborra el directori temporal que hem creat al work, això és important per no omplir la quota dels nostres companys).

##############################################

Tota aquesta informació està generada per l'script cp2k.pl però en altres casos no. Si voleu usar el directori /work heu d'editar vosaltres mateixos els vostres scripts.pbs que és la manera més segura per fer un càlcul "especial" de la manera que més us interessa, tingueu present a més que fent servir l'opció "-nosub" a qualsevol dels altres scripts.pl es crea un fitxer scripts.pbs d'exemple que no s'enviarà a la cua i que podeu modificar com vulgueu.

Unitat de Química Física
Departament de Química
Edifici Cn.
Universitat Autònoma de Barcelona
08193 Cerdanyola
Tel. Departament: +34 93-581.1997
Fax Departament: +34 93-581.2477
Última actualització: 28/07/2015