1. 上海光源大数据科学中心AI-SSSRF-SP账号申请和登录

① 如何拥有账号

不论光源的公共用户还是内部用户，只要上海光源课题管理系统的有账号，在光源局域网默认已经开通了集群账号，线站的流水线可自动提交至集群；若光源科研人员，在上海光源课题管理系统无账号，但需要使用集群资源，可发送邮件至bdsc.sari.ac.cn，开通集群资源账号。

②院内学生能申请账号吗？学生要使用AI-SSRF-SP的集群资源该怎么办？

是的，目前只有教职工才能申请主账号，学生可使用老师的账号使用资源，提交作业

集群用户常见问题汇总（如需帮助，请联系陈济舸 chenjg@sari.ac.cn）

2.数据的存储，下载

①数据保存如何保存到AI-SSRF-SP平台

接入数据流水线的实验站，只需采集数据时登录自己的实验账号，数据就已经自动落盘到数据中心；无流水线的实验站，需要实验后，手动输入命令上传数据至自己的账户。详情可参考《线站使用上海光源数据中心公共存储操作说明》（加链接）

②实验数据保存在AI-SSRF-SP平台的好处？

可以登录账号随时查看下载，登录需要账号和密码确保了数据的安全。

③上海光源公用账号数据保存期限是多久？

目前数据中心的存储空间足够，可以至少保存近三年的数据。

④数据下载方式是什么？

通过AI-SSRF-SP平台下载数据，根据数据量的大小，若数据量达到300M以上，建议使用客户端进行高速下载。

3. 软件安装

①如何在集群上安装软件？

集群上软件安装，请依次判断适用哪种情况：

若为商业软件，请自行获取软件使用权并安装；

若为常用开源软件，请先根据应用软件文档，确定集群是否已有安装；

若未安装，请先考虑是否能使用conda 方法安装；

再考虑在自己的home目录下使用源码安装，遇到问题，请将可复现的步骤，发至bdsc.sari.ac.cn获取帮助。

②集群上是否提供商业软件？

目前集群提供的商业软件可供高研院的教职工使用，外单位无使用权限。

③商业软件如何安装？

商业软件通常需要连接至专用的License 服务器进行验证。如果您需要购买商业软件，由于光源的集群和办公网络不能互通，License服务器只能使用集群的服务器。

④部署 License 服务器的注意事项有哪些？

在数据中心部署 License 服务器的注意事项有如下几点：（1）.商业软件选型和部署需要软件厂商参与，需要充分沟通 License 服务器安装模式、授权数量、使用限制、更换 MAC 地址的费用、厂商的技术支持能力等事项。（2）License 类型：请购买浮动授权，即计算程序可以在集群上的任意一个节点启动。不要把 License 绑定到集群的登录节点。（3）License 服务器部署方式：部署方式的具体选择，请咨询软件厂商 License 程序是否必须部署在物理机上，以及 License 的网络验证是否对网络有限制等事项，按照软件厂商建议进行部署方式选择。目前数据中心的集群采用一般为使用数据中心的云平台虚拟机部署，这种方式适用于大部分商业软件。

4. 作业提交

①用户软件开发使用GPU节点发生FDK库与内存溢出问题，CPU节点Slurm脚本提交失败等系列问题

更新了重建库和环境变量依赖，采用CUDA10.0 (CUDA11.0兼容性问题) 驱动编译正常运行。

上海光源数据中心集群有些预建的软件模块，并且数量还在不断增长，欢迎您告诉我们您研究领域中流行的软件。

下面按照集群环境编译数学库、商业软件分别介绍。

集群环境编译数学库

专业软件

MATLAB

MATLAB是美国MathWorks公司出品的商业数学软件，用于数据分析、无线通信、深度学习、图像处理与计算机视觉、信号处理、量化金融与风险管理、机器人，控制系统等领域。目前数据中心安装的版本为2019b，使用MATLAB的方式有：

登录界面使用（不推荐）

提交MATLAB脚本

打开MobaXterm，输入以下命令行进入MATLAB命令行交互式窗口：

作业默认提交至数据中心集群的bgpu，最高支持8GPU计算。

LAMMPS

LAMMPS 是大规模原子分子并行计算代码，在原子、分子及介观体系计算中均有重要应用，并行效率高，广泛应用于材料、物理、化学等模拟。

提交LAMMPS脚本

#! /bin/bash

#SBATCH -J  a2w2048-chenjige-chenjige

#SBATCH -N 1 -n 36

mpiexec.hydra /home/cloud/chenjige/a2w2048

有AI-SSRF-SP账号（或上海光源课题管理系统账号）后，可通过浏览器登录https://bdsc.ssrf.ac.cn，也可通过传统的 SSH 登录使用集群资源。

注意事项:

Ø  AI-SSRF-SP仅限于课题申请者同一课题组的具有权限的成员使用，请勿将账号借给他人使用，否则数据丢失等后果需要自己负责。

Ø  请妥善保管好您的账号密码，不要告知他人。管理员不会要求您提供密码。

Ø  恶意的 SSH 客户端软件会窃取您的密码，请在官网下载正版授权 SSH 客户端软件。

Ø  登录集群后，请不要跳转到其他登录节点。任务完成后请关闭 SSH 会话。

Ø  若无法登录，请检查输入密码或确认 IP 地址是否正确。您可以参考故障排除和反馈，将诊断信息发送给bdsc@sari.ac.cn邮箱。

下面将介绍 SSH 登录方法。

SSH 登录

客户端登录

Windows 推荐使用 Putty客户端，Putty为免费，可以免费下载（下载源链接），下载后双击即可运行使用。可至 Putty 官网下载。Linux / Unix / Mac 操作系统拥有自己的 SSH 客户端，包括 ssh, scp, sftp 等。

下面介绍 Windows 用户使用 Putty 客户端登录数据中心HPC I。

启动客户端 Putty，填写登录节点地址10.30.40.56/57（数据中心HPC I），端口号采用默认值 22，然后点 Open 按钮，如下图所示：

 在终端窗口中，输入您的 SSH 用户名和密码进行登录：

提示：输入密码时，不显示字符，请照常进行操作，然后按回车键登录。

通过 SSH 传输文件

登录节点资源有限，不推荐在登录节点直接进行大批量的数据传输。

调试 SSH 登录问题

登录到集群节点失败原因很多。

连续多次错输密码？

若在登录节点运行计算密集的作业，程序会被自动查杀？导致无法登录？

若需重置密码，发送邮件到bdsc@sari.ac.cn邮箱，我们将会在 1 个工作日内响应您的申请。

登录常掉线的问题

如果 SSH 客户端长时间静默后，SSH 服务器端会自动断开相关会话。要解决这个，需要调整 SSH 的 keepalive 值，设置一个较长的静默时长阈值。

Mac/Linux用户

对于 Mac/Linux 用户，并且使用操作系统原生的终端 (terminal)，需要修改 $HOME/.ssh/config具体的ServerAliveInterval值设置数字大的数值，ServerAliveInterval 后的值即为阈值，单位为秒，用户可根据需要自行调整。

Windows SSH 客户端用户

这里我们以 Putty 为例。市面有不同的 SSH 客户端，您可以根据自身情况自行搜索您使用的 SSH 客户端的设置方法。

在 Putty的 Session 的属性中，Connection -> Sending of null packets to keep session active -> Seconds between keepalives (0 to turn off)后的文本框中，输入对应的值，如 240。

使用X Server显示图形界面

X11 是UNIX上图形视窗系统的标准规范，主要分为3个部分：X Server（X服务器）、X Client（X客户端）、Window Manager（窗口管理器）。X Server是整个X Window System的中心，协调X客户端和窗口管理器的通信。

X Server 运行在本地，推荐 MobaXterm 终端工具，可以免费下载（下载源链接），包含了 X server 功能。使用前需要确认开启了 X11-Forwarding，并启动 X server。

打开MobaXtem，点击“Session”，打开SSH，输入用户名，端口设置为22。

这时SSH到集群，输入密码，采用命令行运行所需的任务，如下图是通过MobaXterm运行matlab示意图：

提示：X Server 显示图形界面的方式需要保持SSH连接，不然GUI程序会中断运行。

上海光源数据中心作为国际先进的同步辐射专用数据中心，利用专用高性能计算资源优先充分保障时间敏感的用户在线实验数据处理与结果反馈，同时可在装置层面对计算和存储资源进行集约化统一高效管理，降低总体成本。基于用户数据中心的软硬件基础设施，建设完成上海光源大数据全生命周期管理分析系统，实现了用户科学数据全生命周期管理，用户数据在线处理效率大幅提升。用户登录上海光源同步辐射科学计算平台即可对在上海光源的实验数据进行查阅，管理，提交作业等。

实验站用户采集的实验数据如何存储至用户的账号

有 pipeline的线站

  目前，生物大分子线站BL02U1，P2线站BL10U2已经在上海光源数据中心部署了数据自动处理流水线， 用户采集数据时，需要使用线站的界面登录自己的账号密码，此时实验数据和元数据已经存储在用户登录的账号名下。

无pipeline的线站

  若线站数据采集电脑已经直接链接了数据中心，在这种情况下，用户采集数据时，登录该次课题的实验通行证（可通过上海光源同步辐射科学计算平台查询），这时实验数据在后台已经跟课题进行了关联，实验登录方式和数据采集电脑的系统不同而不同，具体可查阅《线站使用上海光源数据中心公共存储操作说明》

用户数据管理服务

  在上海数据中心的平台中，上海光源 课题申请人具有分配数据的权限（详见：数据分配权限使用的文档）

  查看和下载实验数据

      使用浏览器，登录平台，登录账号密码与上海光源课题管理系统相同。进入左侧“数据中心”，选择“课题”，点击所需查看或下载的数据。

实验数据计算服务

 通过系统登录后，可以直接提交作业到集群

软件应用服务

通过系统登录后，用户可以使用权限范围内的软件进行远程计算业务。

账号说明

 在上海光源同步辐射科学计算平台的账号体系中，有两种账号来源，一种账号是来源于上海光源课题管理系统，凡是上海光源课题管理系统申请通过的课题主账号都已经默认开通了集群计算资源权限的账号，该账号已进行认证集成，登录AI-SSRF-SP平台，账号密码与上海光源课题管理系统相同，课题通过申请人在课题审核通过后，邮件将收到实验通行证，实验通行证也可以通过登录上海光源同步辐射科学计算平台进行查询，实验时，在线站登录通行证，开始采集或传送数据（加使用说明文档），这样将数据关联到对应名下。

 另一种账号，主要针对离线的科学计算用户，使用人通过发送邮件，我们将会在两个工作日内开通账号。

上海光源同步辐射科学计算平台已在公共目录app下安装了些预建的软件和库函数，科学计算的专业软件用户将正规渠道获取安装的自己的目录下，进行使用。集群禁止安装破解版的商业软件。部分专业软件如：GASA-II，MUDA，PITRE等已经部署在数据中心集群并和AI-SSRF-SP集成，用户可直接登录AI-SP-SSRF申请权限使用。此外数据中心针对Windows版都人机互动的软件部署远程可视化计算平台，用户需要采用域账号登录，登录园区的科学软件计算平台。

BDSC集群软件及环境

远程可视化计算

为了广大科研用户的方便，BDSC构建了远程可视化科学软件计算平台,目前已经在园区的局域网开放，用户使用域账号，登录https://softwarebdsc.ssrf.ac.cn，可以使用平台的软件，平台目前安装的软件有：

上海光源同步辐射科学计算平台硬件资源分为文件存储系统、计算系统和边缘存储计算系统。

文件存储系统

    文件存储系统用于存储用户的实验采集的数据，用户登录上海光源同步辐射科学计算平台后可访问、管理实验数据。存储系统的总裸容量为22.5PB。

科学计算系统

    科学计算系统为实验用户和in-house研究的用户提供计算资源、执行计算操作。计算硬件资源具体参数如下：

边缘系统

   边缘智能系统，部署在实验站端，根据线站特征灵活配置，支持即时决策，并可作为高速缓存和应急备份系统。

  上海光源二期数据中心在19个光束线站分别配备边缘服务硬件系统，其具体配置依光束线站需求，19个边缘节点CPU计算核心范围32核~128核、总存储空间~1P，2个边缘节点配有高性能GPU显卡。并开发部署了边缘服务软件系统，实现大数据中心和边缘计算节点的资源调度与负载平衡，实现边缘文件数据的元数据和边缘计算任务调度元数据摄入AI-SSRF-SP平台。

为什么需要AI-SSRF-SP平台？

  上海光源用户数据中心已建成集群NAS文件存储系统、CPU和GPU混合高性能计算集群、骨干带宽40 G的实验站局域网络系统、虚拟化应用服务器系统、企业级磁带库系统、19个光束线站边缘服务硬件系统，上海光源同步辐射科学计算平台为上海光源所有实验线站用户提供海量数据存储服务和高性能计算服务。目前该平台已经集成了生物大分子类线站（BL02U1，BL10U2），成像类线站（BL13HB，BL16U2，BL18B）数据分析流水线。上海光源同步辐射科学计算平台面

向上海光源用户及全院科研人员提供服务，可为广大院内用户提供软件资源，支撑上海光源的科研发展，优先支持用户在线实验数据的处理与分析。

AI-SSRF-SP平台可为用户提供的服务

 该平台提供的服务主要分为三大类

l  上海光源用户数据全生命周期管理服务

l  上海光源用户数据实时在线分析处理服务

l  高研院科学计算服务

AI-SSRF-SP平台硬件资源如何？

数据中心拥有容量22 PB 的集群NAS文件存储系统，以CPU为主GPU为辅的高性能计算集群，CPU和GPU混合集群计算系统有208个CPU节点共计11000核、28块高性能GPU卡、总理论峰值算力967.8 Tflops，是目前国内同步辐射装置第一的超算集群。硬件资源如图所示：

资源如何选择？

   集群采用 Linux 操作系统，集群1配以chess 作业调度系统，所有计算节点资源和存储资源，可统一调用。集群2配以联科作业调度系统，所有计算节点资源和存储资源，可统一调用。但集群1和集群2不互通。

   通过线站流水线提交的作业自动已自动分配节点，不需要用户选择。

详情请见：BDSC作业调度系统使用指南（跳转链接）

（02-Slurm-用户手册-陈济舸）

AI-SSRF-SP平台需要什么？

凡是您在上海光源用户课题管理系统拥有审核通过的课题且在有限期内或者拥有上海光源同步辐射科学计算平台的账号，您在上海光源园区内，在任何一个常见的浏览器上登录https://bdsc.ssrf.ac.cn，通过计算中心菜单就可以提交作业。网页版使得登录更便捷，无需安装客户端，大大提升使用体验。浏览器包含电脑端的Chrome, Firefox, Edge,360 等。

当然您也可以通过SSH客户端连接集群资源。

了解平台使用方法，请查看AI-SSRF-SP简明使用手册（加链接）;

如何申请账号？

AI-SSRF-SP平台服务于上海光源用户和高研院师生。拥有上海光源课题且在有效期内的，账号无需申请，直接使用CAS LSSF账号即上海光源课题管理系统的账号密码登录即可，高研院的师生直接发送邮件（bdsc@sari.ac.cn）申请开通即可，我们将会在两个工作日内开通账号。

可参阅的资料：

1.         用户文档：https://docs.bdsc.ssrf.ac.cn （加链接）

2.         上海光源数据中心网站：https://bdsc.ssrf.ac.cn

3.         简短版使用手册（Cheat Sheet）：（加链接）

如何提交作业至数据中心HPC

第一类 线站流水线作业

此类作业的提交，直接集成在线站的pipeline中，计算节点等资源已经在pipeline中进行配置，无须用户进行额外操作

第二类 非线站流水线作业

此类包含用户离线计算作业和高研院师生的科研计算作业

以单节点的“……”为例，演示作业提交过程。

1. 撰写名为 hello_world.c代码如下：

2. 使用 GCC 编译

$ module purge

$ module load gcc

$ gcc -fopenmp hello_world.c -o hello_world

3. 在本地测试运行 4 线程应用程序

$ export OMP_NUM_THREADS=4 && ./hello_world

4. 编写一个名为 hello_world.slurm 的作业脚本

#!/bin/bash

#SBATCH --job-name=hello_world

#SBATCH --partition=small

#SBATCH --output=%j.out

#SBATCH --error=%j.err

#SBATCH -n 8

#SBATCH --ntasks-per-node=8

ulimit -l unlimited

ulimit -s unlimited

module load gcc

export OMP_NUM_THREADS=8

./hello_world

5. 提交到 SLURM

$ sbatch hello_world.slurm

Tips

编译和作业提交都需要登录到 HPC+AI平台集群，参考本节AI-SSRF-SP平台需要什么？（跳转链接）

登录AI-SSRF-SP，集成 web shell、文件管理、作业提交、可视化应用等一站式服务。

登录方法：

在浏览器中打开：上海光源数据中心（链接）

上海光源数据中中心基于深度融合大科学装置实验设施、高性能计算资源、大数据网络、理论建模与软件算法支持的“超级设施”理念整体规划，部署了上海光源同步辐射大数据管理、分析和人工智能平台（Artificial Intelligence-SSRF-Superfacility Platform （AI-SSRF-SP）），是中国第一个超级设施，也是世界上第一个超级设施。AI-SSRF-SP平台高度集成了线站数据处理流水线业务、高性能计算集群系统、光源实验辅助系统及用户课题管理系统等各类用户信息系统。上海光源的公众用户只需采用上海光源课题管理系统的账号登录 https://bdsc.ssrf.ac.cn就可以实现远程管理及在线处理分析数据。

请致谢上海光源数据中心

The computations in this paper were run on the cluster supported from the Big Data Science Center, Shanghai Synchrotron Radiation Facility, Shanghai Advanced Research Institute, Chinese Academy of Sciences.

上海光源数据中心计算存储资源

上海光源用户数据中心已建成集群NAS文件存储系统、CPU和GPU混合高性能计算集群、骨干带宽40 G的实验站局域网络系统、虚拟化应用服务器系统、企业级磁带库系统、19个光束线站边缘服务硬件系统，为上海光源所有实验线站提供海量数据存储服务和高性能计算服务。

常用用户文档

此文HPC使用文档，为用户提供快速上手指导和问题解答。可登录上海光源同步辐射科学计算平台，获取更多信息。 

1、Getting Started

2、快速上手

3、平台硬件资源

4、账号申请及说明

5、上海光源大数据全生命周期管理分析服务

6、登录上海光源同步辐射科学计算平台

7、软件

8、常见问题

9、文档下载

账号说明及申请

在上海光源同步辐射科学计算平台的账号体系中，有两种账号来源，一种账号是来源于上海光源用户课题管理系统，凡是上海光源课题管理系统申请通过的课题主账号都已经默认开通了集群计算资源权限的账号，该账号已进行认证集成，登录上海光源同步辐射科学计算平台与上海光源课题管理系统账号密码相同，课题通过申请人在课题审核通过后，邮件将收到实验通行证，同时也可以通过登录上海光源同步辐射科学计算平台进行查询，实验时，在线站登录通行证，开始采集或传送数据（加使用说明文档），这样将数据关联到对应名下。

另一种账号，主要针对离线的科学计算用户，请填写附件表格，发送邮件至chenjg@sari.ac.cn，我们将会在两个工作日内开通账号。

A-上海光源高性能科学计算服务用户协议-V2.1.docx

02-Slurm-用户手册.pdf

上海光源VPN系统服务用户协议.docxlogin

上海光源科学计算与数据存储用户协议（第4版）.docx