硬件环境搭建
先把设备接好,再安装软件。 选择一台MegaCube作为管理设备,记为MC-001。管理软件就安装在这台设备上,不需要另外准备服务器。其他MegaCube按需要加入。
1. 准备好这些东西
| 要准备的东西 | 用来做什么 |
|---|---|
| MegaCube及随附电源 | 运行管理软件和模型 |
| 显示器、键盘、鼠标 | 首次在设备上操作;可逐台使用同一套 |
| 普通管理交换机及现场路由器 | 管理网络:打开网页、接入设备及联网下载。8台示例准备1台管理交换机,并留出办公电脑和路由器端口 |
| 普通管理网线 | 每台设备1根;8台准备8根,另外准备办公电脑、路由器的连接线 |
| RoCE交换机(多设备经交换机组网时) | 高速数据网络:模型文件、镜像分发及跨机通信。8台示例准备1台,至少有8个与MegaCube和QSFP线缆匹配的高速端口 |
| 兼容的QSFP高速线缆 | 图中每台设备1根,共8根,接到RoCE交换机 |
| 每台设备的系统账号和密码 | 登录设备,以及之后在平台中添加设备 |
设备数量、SSD容量按您实际购买的配置。 建议MC-001管理节点选择4TB SSD版本的MegaCube,容量较大,方便同时保存多个模型的权重文件及推理镜像。4TB是容量建议,不是软件安装的硬性要求。QSFP线缆、模块及RoCE交换机需与MegaCube接口兼容,请让设备供应方确认配套型号。
2. 8台MegaCube怎么接:先看这张图
下面以8台MegaCube、1台普通管理交换机和1台RoCE交换机为例。MC-001运行管理软件,MC-002—MC-008按需要运行模型;办公电脑只负责打开网页。
按图连接:
- 蓝色管理网线: 每台MegaCube的普通网口接普通管理交换机。管理交换机再接现场路由器;办公电脑也接这个管理网络。
- 绿色QSFP线: 每台MegaCube的QSFP高速口接RoCE交换机。MC-001也要接,模型文件和镜像才能从管理节点高速传给其他设备。
- 核对编号: 图中MC-001对应M01/R01,MC-002对应M02/R02,依次到MC-008对应M08/R08。M/R是图里的示意端口标签,现场请在两端线缆贴上设备编号,按真实交换机端口记录。
- 接线后由平台准备和检查: 安装软件并添加设备后,平台自动分配QSFP静态数据IP、设置MTU和Docker权限,再检查节点间连通性。已有地址先核查并沿用。RoCE交换机仍需按对应型号配置。
图中每台设备连接1根QSFP线,共8根,RoCE交换机需有至少8个匹配端口。8台是接线示例,模型需要几台设备仍以平台中的方案为准。
3. 接电源、开机
- 把设备放在稳固、通风的位置,留出散热空间。
- 按设备随附说明连接电源、显示器、键盘和鼠标。
- 开机,按屏幕提示完成设备自带系统的首次设置,或用随设备提供的账号登录。
- 确认能进入Linux桌面,并记住这台设备的系统用户名和密码。
- 其他设备依次完成相同操作。账号不清楚时向设备供应方确认。
4. 接管理网络:普通网线
管理网络用来打开网页、添加设备,以及由MC-001联网下载模型。
- 将每台MegaCube的普通以太网口接到现场管理网络的路由器或交换机。
- 需要从办公电脑打开平台时,把办公电脑也接入能够访问这些设备的网络。
- 在设备桌面打开“设置 → 网络 → 有线连接”,查看IPv4地址。不同桌面的入口文字可能略有不同。
- 请现场网络管理员确认每台设备地址不同、互相可达,并固定地址或设置地址保留,避免重启后变化。
- 在MC-001上用浏览器打开一个正常的互联网网站,确认能联网。联网部署时,还要能下载模型所需文件;现场不能联网时,按模型资源使用指南提前下载并导入。
记下每台设备的管理IP,后面添加设备时要用。安装后办公电脑访问的是MC-001的管理IP。
确认设备允许SSH连接: 平台通过SSH完成首次接入。设备已能正常添加时,无需额外操作。若提示SSH连接失败,先请现场管理员检查管理IP冲突、网络连通性和SSH监听;需要手动启用时,在该设备桌面按Ctrl+Alt+T打开终端,依次执行:
sudo systemctl enable --now ssh
systemctl is-active ssh
第一条要求输入这台设备的系统密码,输入时不显示字符;第二条显示active表示服务正在运行。Ubuntu也可能通过ssh.socket按需启动服务,不能只凭ssh显示inactive判断连接功能关闭。若提示找不到ssh服务,请设备支持人员先安装OpenSSH Server。管理网络和SSH连通后,QSFP地址、MTU、Docker权限及息屏设置由平台在添加设备时完成。
互联网 ── 现场管理路由器/交换机
├── 普通网线 ── MC-001(管理设备)
├── 普通网线 ── 其他MegaCube
└── 办公电脑(可选,用浏览器访问)
5. 接数据网络:QSFP高速线缆
多设备时需要另外接高速数据网。 普通管理网已连通,不代表QSFP数据网也已连通。MC-001需要通过这个高速网向其他设备分发模型。
| 您的设备情况 | 接线方式 |
|---|---|
| 只有一台MegaCube | 无节点间传输,先完成管理网连接;只能选择满足单台资源要求的模型 |
| 两台MegaCube | 可使用供应方确认的QSFP直连方案,将两台设备高速口连接;需一并完成匹配的网络配置 |
| 多台MegaCube | 将MC-001和其他设备的QSFP口接入兼容的RoCE交换机,使管理设备和所有目标设备高速互通 |
两台直连: MC-001 ══ QSFP高速线缆 ══ MC-002
交换机组网:MC-001 ══ RoCE交换机 ══ 其他MegaCube
管理设备也必须接入数据网
- 每台设备使用1根兼容的QSFP线接入RoCE交换机;两台直连时用一根线连接两台高速口。MC-001也需接入数据网。
- 使用交换机时,由设备支持人员按型号完成数据VLAN、MTU和RoCE配置;两台直连不需要做交换机配置。详见维护手册。
- 按软件安装在MC-001安装平台,然后先添加MC-001、再添加其他设备。
- 添加设备时,平台使用您填写的sudo账号自动准备QSFP静态IP、MTU和Docker权限,并将该账号设置为永不息屏。普通管理网络和WiFi保留原配置,不需要手工填写数据IP。
- 数据地址由平台统一分配,可在“高级管理 → 集群网络”查看。若提示地址冲突,请管理员检查,不要自行改动正在使用的设备地址。
- 添加失败时,按提示在本次添加窗口重试;批量添加在批次结果中重试失败设备,不要重复新增编号。
- 至少两台完整在线后检查节点间通路。显示QSFP检查通过后再部署模型;只有一台时待验证是正常提示。
5.1 数据地址由平台统一管理
“高级管理 → 集群网络”显示每台设备的网卡、静态IP、MTU、分配来源和连通情况。平台按物理设备保留地址,同一设备重新接入沿用原分配;不会根据设备编号猜测地址。
添加设备需要使用有管理员权限的系统账号。设备缺少必要软件,或交换机尚未配置时,请设备或网络支持人员先处理;详细要求和排查方法见维护手册。