Sender: "Lista utenti ENEA GRID" To: griduser Date: Fri, 21 Apr 2017 11:44:29 +0200 Subject: Nuova configurazione dello spazio dati GPFS a Portici e Frascati e richiesta di migrazione dati entro 19/5/2017 Nuova configurazione dello spazio dati GPFS a Portici e Frascati e richiesta di migrazione ========================================================================================== Con la manutenzione di ieri a Portici si e' completata la riorganizzazione dello spazio GPFS su Portici e Frascati e una configurazione analoga verra' applicata prossimamente in Casaccia. E’ stata inoltre adottata la prassi comune in altri centri HPC di definire il path completo dello spazio utente nei vari file system tramite la definizione di variabili di ambiente specifiche. Analogamente al passato sono stati conservati anche i link diretti dalla HOME utente attraverso la cartella ~/PFS. All’utenza viene richiesto di migrare i dati esistenti nella nuova struttura entro venerdì 19 maggio 2017 e la scadenza verra' ricordata da successivi messaggi di avviso. Si prega anche di fare una dovuta selezione di quanto trasferire in modo da non sprecare inutilmente spazio prezioso. Su ogni cluster l’utente ha ora a disposizione due tipologie di spazio dati: a) spazio SCRATCH caratterizzato dalle prestazioni migliori, quota grande ma politica di cancellazione regolare dei file piu' vecchi. I file system sono locali ai siti ENEAGRID e non visibili su wide area. Il nome della variabile di ambiente e' $PFS_SCRATCH0, il link nella HOME e' ~/PFS/tmp a.1) Clusters Portici, quota 10 TB, concellazione dopo 90 giorni. a.2) Cluster Frascati, quota 0.5 TB, cancellazione dopo 30 giorni. b) spazio STORE caratterizzato prestazioni inferiori, quota ridotta ma servizio di backup quotidiano. Lo spazio STORE e' accessibile anche tra cluster remoti, tra Portici e Frascati ed in futuro anche Casaccia. b.1) Clusters Portici, variabile $PFS_POR_STORE0, link nella HOME ~/PFS/por, quota 100 GB b.2) Cluster Frascati, variabile $PFS_FRA_STORE0, link nella HOME ~/PFS/fra, quota 100 GB Per poter aver accesso a queste configurazioni l'utente dovra' aprire una nuova sessione sui front-end dei vari cluster. Nella occasione la struttura dei link nella HOME utente e' stata semplificata eliminando ~/PFS/porq1_1M e ~/PFS/porq1_256k non piu' significativi. La migrazione dei dati a Portici ================================ Fino ad oggi l’utente ha avuto a disposizione due spazi GPFS /gporq1_1M/usr/userid e /gporq1_256k/usr/userid. Entrambi sono destinati ad essere eliminati e gli utenti sono pregati di trasferire quanto ritengono necessario conservare all’interno del nuovo spazio $PFS_POR_STORE0, richiedendo eventualmente con un ticket l’ampliamento della quota di default. Se il dato da migrare non deve essere conservato oltre i 90 giorni ovviamente si puo' trasferire anche in $PFS_SCRATCH0 ricordando pero' che tale area non e' sottoposta a backup. Una volta verificato il corretto trasferimento si chiede agli utenti di cancellare i file originali. La migrazione dei dati a Frascati ================================= Fino ad oggi l’utente ha avuto a disposizione lo spazio GPFS /gfra_user/usr/userid. Esso dovra' essere eliminato e gli utenti sono pregati di trasferire quanto ritengono necessario conservare all’interno del nuovo spazio $PFS_FRA_STORE0, richiedendo eventualmente con un ticket l’ampliamento della quota di default. Una volta verificato il corretto trasferimento si chiede agli utenti di cancellare i file originali. Saluti Gli amministratori CRESCO -- New configuration of GPFS data space in Portici and Frascati and data migration request ======================================================================================= With yesterday maintenance in Portici the reorganization of GPFS data space has been completed and a similar configuration will also be implemented later in Casaccia. It has been now adopted, as in other HPC centres, the approach of defining environment variables with the full path to user data space in the available file systems. It has been also retained the already adopted system of links from the user HOME by means of ~/PFS/ folder. Users are requested to migrate their data to the new configuration by May, 19th 2017 and the deadline will be reminded later by other notifications. Users are also requested to select carefully the data to retains, to avoid the waste of valuable data space. From now two different data space are available to the user: a) SCRATCH space, with high performances, large quota an a delete policy for older files and no backup. The file systems are local to ENEAGRID sites and they are not accessible directly over wide area. The environment variable name is $PFS_SCRATCH0 in all clusters and the link in the HOME is ~/PFS/tmp. The file systems characteristics are: a.1) Portici Clusters, 10 TB quota, delete policy 90 days a.2) Frascati Cluster, 0.5 TB quota, delete policy 30 days. b) STORE0 space, lower performances, reduced quota and daily backup on tape. The file systems are accessible also on wide area between different ENEAGRID sites, Frascati, Portici and later on also Casaccia. The file systems characteristics are: b.1) Portici Cluster, environment variable $PFS_POR_STORE0, HOME link ~/PFS/por, 100 GB quota b.2) Frascati Cluster, environment variable $PFS_FRA_STORE0, HOME link ~/PFS/fra, 100 GB quota To have access to the new configuration the user must open new sessions the front-end of the various clusters. In this occasion the structure of links in the user HOME has been simplified by deleting ~/PFS/porq1_1M and ~/PFS/porq1_256k which are not useful anymore. Data migration in Portici ========================= Up to now two GPFS data space have been available to users: /gporq1_1M/usr/userid and /gporq1_256k/usr/userid. Both are due to be dismissed and eventually deleted and users are requested to transfer their content to the new space $PFS_POR_STORE0, submitting a ticket for a quota larger than the default if necessary (the command mmlsquota provides information on used data space in GPFS). If the data is to be retained less than 90 days the user can transfer data also to $PFS_SCRATCH0, always taking into account that it is not subjected to daily backup. After having verified the correct transfer of data, users are asked to delete the original files. Data migration in Frascati ========================== Up to now one GPFS data spacehas been available to users: /gfra_user/usr/userid. It is also due to be dismissed and eventually deleted and users are requested to transfer its content to the new space $PFS_POR_STORE0, submitting a ticket for a quota larger than the default if necessary. After having verified the correct transfer of data, users are asked to delete the original files. Best regards CRESCO administrators --- Per favore non rispondere a questo E-mail. In caso di necessita' utilizzare http://gridticket.enea.it per contattare gli amministratori di eneagrid/CRESCO Informazioni su eneagrid/CRESCO sono disponibili a http://www.eneagrid.enea.it e http://www.cresco.enea.it --- Please do not reply to this E-mail. In case use http://gridticket.enea.it to contact eneagrid/CRESCO administrators See http://www.eneagrid.enea.it and http://www.cresco.enea.it for information about eneagrid/CRESCO ===========