HPC+AI 平台集群（除思源一号外）采用 Lustre 作为后端存储系统。Lustre是一种分布式的、可扩展的、高性能的并行文件系统，能够支持数万客户端、PB级存储容量、数百GB的聚合I/O吞吐，非常适合众多客户端并发进行大文件读写的场合。 Lustre最常用于高性能计算HPC，世界超级计算机TOP 10中的70%、TOP 30中的50%、TOP 100中的40%均部署了Lustre。
HPC+AI 平台集群（除思源一号外）已上线多套 Lustre 文件系统，挂载在计算节点的不同目录：/lustre、/scratch。
数据传输节点（data.hpc.sjtu.edu.cn）还多挂载了一个 /archive。
思源一号为独立集群，使用Gpfs文件系统，共10P。系统包含4 台 DSS-G Server 节点，每台配置 2 块 300G HDD， 用于安装操作系统，安装配置 GPFS 集群及创建文件系统。文件系统 metadata 采用 3 副本冗余，文件系统 data 采用 8+2p 冗余。
/lustre 目录挂载的为 HPC+AI平台集群（除思源一号外）中的主文件系统，共 13.1P，用户的个人目录即位于该目录。
主文件系统主要使用 HDD 盘搭建，旨在提供大容量、高可用、较高性能的存储供用户使用。搭建过程中，使用 RAID 保障硬盘级别的数据安全，使用 HA（High Availability） 保障服务器级别的高可用。
用户的主要工作、重要数据都应该发生和存储在主文件系统。
用户通过个人账户登录计算节点（包括登录节点）之后，默认进入主文件系统，即 HOME 目录。可以在以下路径找到 /lustre 提供给用户的空间：
其中acct-xxxx代表计费帐号（课题组帐号），yyyy代表个人帐号。
通过 等方式都可进入主目录。
/scratch 目录挂载的为 HPC+AI平台集群（除思源一号外）的全闪存并行文件系统，共 108T 容量，可用作用户的临时工作目录。
全闪存文件系统使用全套的 SSD（NVMe协议） 硬盘搭建，旨在提供高性能的存储供用户使用，可更好地支持 IO 密集型作业。对系统来说，单客户端最大读带宽达 5.7GB/s，最大写带宽达 10GB/s；4k 小文件读 IOPS 达 170k，写 IOPS 达 126k。但同时，由于成本问题，系统提供的容量较小；在搭建时也未设置高可用和数据备份，存在数据存储安全性不高等问题。
基于该套系统的特性，推荐用户将其作为临时工作目录，可用于
注意：为了保持全闪存文件系统的稳定可用，/scratch 目录每 3 个月会进行一次清理。因此，请务必及时将重要数据保存回 /lustre 目录。
用户可以在以下路径找到 /scratch 提供的暂存空间：
其中acct-xxxx代表计费帐号（课题组帐号），yyyy代表个人帐号。
为了快捷访问，我们已经为用户设置好环境变量， 即可进入该临时工作目录。
我们使用生信 WES 分析流程为例，该流程从测序文件开始，经 bwa 比对、samtools处理，然后用 GATK 检测变异（部分步骤）。 原代码如下：
过程中，会产生许多中间文件和临时文件。因此，可利用 $SCRATCH 作为临时目录，加快分析过程。只需要把脚本中的 修改为 即可。
在 data （data.hpc.sjtu.edu.cn） 节点的目录 /archive 下挂载了挂挡存储，共 3P 容量，用来存储用户的不常用数据。
归档文件系统主要使用机械硬盘搭建，可提供大容量、高可用的存储供用户使用。搭建过程中，使用 RAID 保障硬盘级别的数据安全，使用 HA（High Availability） 保障服务器级别的高可用。归档文件系统作为主文件系统的一个补充，主要提供给用户存储不常用的数据（冷数据），从而释放主文件系统的存储空间、缓解主文件系统的存储压力。
** 注意：和主文件系统以及全闪存文件系统不同，归档文件系统只能在 data 节点访问，无法在计算节点和登录节点访问，也就是说保存在该文件系统的数据不能在计算节点读取并参与计算，因此只推荐保存不常使用的数据。**
用户可以在以下路径找到 /archive 提供的个人存储空间:
其中 acct-xxxx 代表计费帐号（课题组帐号），yyyy 代表个人帐号。
为了快捷访问，我们已经为用户设置好环境变量， 即可进入。
推荐使用 rsync 移动数据，详细参数含义可使用 命令查看。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
如需转载请保留出处：https://bianchenghao.cn/bian-cheng-ri-ji/37245.html