
通用问答 · 代码开发
DeepSeek-V4.1-Flash-1017
四台 MegaCube GB10 组成 TP4 单副本。调优后八类任务的 C8 平均聚合吞吐为 171.66 token/s,C1 首字延迟 P50 为 0.304 秒。
01 / 模型与范围
模型与验证范围
本次记录采用已运行并同步集群管理平台的最终 DSpark5 方案,覆盖七档并发、冷提示预填充、内存采样、基础功能及长文检索。此次为 v41bench v1 单轮实测,与旧 real40 三轮测试口径不同,不据此计算直接提速比例,也不沿用旧版质量分数。
- 本地问答与代码生成
- 工具调用与结构化输出
- 长资料中的事实检索
- 模型版本
- DeepSeek-V4.1-Flash-1017
- 权重与存储
- 官方 1017 原生权重;各节点本地 NVMe 完整副本;未进行额外 EXL3 转换
- 输入 / 输出
- 文本与基础图像输入;文本、结构化结果与工具调用输出
- 上下文范围
- 配置上限 300,000 token;实测 130,258 / 260,119 token 单请求中位置检索
- 数据来源
- 2026-10-19 调优后实测报告;整理时间 19:40:40(UTC+08:00)
平台正常停止、启动后,17 项基础功能检查通过;原视觉与工具脚本 7/7 通过。保留原题图、提示与规则,仅适配鉴权、端口和模型别名。这些是限定场景验收,不代表通用回答或行业视觉准确率。
实测资料核对于 2026-10-19
02 / 部署方式
MegaCube 部署配置
- 计算与拓扑
- 4 × MegaCube GB10;TP4 单副本
- 存储与互联
- 各节点本地 NVMe 完整权重;RoCE API1;保留流式权重加载
- 推理与预填充
- DSpark=5; prefill batch tokens=8192; GMU=0.80
- 调度与内存限制
- 上下文 300,000 token;最大序列数 8;Docker 每节点上限 112 GiB
- Engram 配置
- FAST=1; threads=128; chunk=16; retention=128
- 通信与索引器
- NCCL_MAX_NCHANNELS=8; AR≤2MB / AG≤16MB; indexer TP-split=1
- 内存策略
- 仅监测内存;固定 12 GiB 自动停容器规则已取消
核对权重和方案
固定官方 1017 权重、reference v3 镜像与 DSpark5 方案,四台节点保持一致。
准备节点与互联
确认各节点 NVMe 完整权重、RoCE 互联及当前方案参数。
核对平台交付范围
本方案已有平台受管与正常停止、启动验收;公开安装包是否包含该方案,需按发行清单确认。
按实际负载复验
复验目标任务、API 与流式输出,并关注并发、上下文长度和内存余量。
本页是调优后的验证记录,不将旧版脚本或平台 1.1.0 安装包作为本方案已随包交付的证明。
固定权重与运行版本
- 权重固定版本
- 1bae0e1088993b9b82de08f59de5be5a34e42170
- 容器镜像
- megacube/deepseek411017:reference-9fa230d-b58f34e-v3
- 方案修订
- deepseek411017-reference-roce-dspark5-p8192-gmu80-v3
- CUDA graph
- FULL_AND_PIECEWISE; 5, 6, 10, 12, 15, 18, 20, 24, 25, 30, 35, 36, 40, 42, 48
- 分配器设置
- expandable_segments:False
- 测试脚本 SHA256
- e0d6b2d25bd585d11fbdf39c2ddcdf7a4de8ab685af6bd42465e69f3ee6e80a8
03 / 性能测试
MegaCube 性能测试结果
2026-10-19 · 4 台 MegaCube · v41bench v1 / managed-v1 · 八类固定提示 · C1 / C2 / C3 / C4 / C5 / C6 / C8 · 单轮、非思考、SSE 流式。
吞吐、单流解码和首字均值分别取八类正式任务值的算术平均;P50 / P90 则合并该并发全部正式请求计算,均不含计数任务。批次吞吐 = 输出 token 总数 / 整批耗时;单流解码 =(输出 token − 1)/(总耗时 − 首字耗时)。不能用聚合吞吐除以并发替代单流速度。
八类正式任务均值与请求池分位数分开统计;不是三轮中位数。
| 并发 | 平均聚合吞吐 token/s | 平均单流解码 token/s | 首字均值 s | 首字 P50 s | 首字 P90 s | 正式请求数 |
|---|---|---|---|---|---|---|
| C1 | 47.74 | 53.99 | 0.318 | 0.304 | 0.382 | 8 |
| C2 | 76.71 | 44.07 | 0.375 | 0.332 | 0.395 | 16 |
| C3 | 96.89 | 37.40 | 0.401 | 0.353 | 0.648 | 24 |
| C4 | 117.11 | 34.29 | 0.414 | 0.374 | 0.731 | 32 |
| C5 | 134.73 | 32.15 | 0.443 | 0.392 | 0.879 | 40 |
| C6 | 152.88 | 29.86 | 0.492 | 0.409 | 0.712 | 48 |
| C8 | 171.66 | 25.57 | 0.605 | 0.466 | 1.300 | 64 |
使用实际输入 token;预填充速度 = 输入 token / 首字耗时,不是输出吞吐。
| 实际输入 token | 首字 s | 预填充 token/s |
|---|---|---|
| 2950 | 1.824 | 1617.1 |
| 11592 | 6.950 | 1668.0 |
| 46810 | 24.296 | 1926.6 |
| 93335 | 55.058 | 1695.2 |
两个长度各测一次,检索深度均为 0.5;不是多位置、多轮或并发长文测试。
| 实际输入 token | 检索深度 | 首字 s | 预填充 token/s | 回答 | 结果 |
|---|---|---|---|---|---|
| 130258 | 0.5 | 88.9 | 1465.6 | COPPER-LANTERN-8315 | 通过 |
| 260119 | 0.5 | 244.4 | 1064.5 | COPPER-LANTERN-8315 | 通过 |
资源采样明细
节点以 1–4 匿名展示;约 1 秒采样。主机已用 = Total − Available;Docker 上限 112 GiB 不是实际使用量。
| 窗口 | 节点 | 采样数 | 最小可用 GiB | 最大主机已用 GiB | 最大 cgroup GiB | OOM kill 增量 |
|---|---|---|---|---|---|---|
| 正式性能测试 | 1 | 431 | 13.440 | 108.188 | 20.199 | 0 |
| 正式性能测试 | 2 | 431 | 12.636 | 107.027 | 18.583 | 0 |
| 正式性能测试 | 3 | 430 | 14.312 | 107.314 | 20.366 | 0 |
| 正式性能测试 | 4 | 430 | 14.055 | 107.602 | 20.066 | 0 |
| 首次受管启动 | 1 | 346 | 15.064 | 106.563 | 35.710 | 0 |
| 首次受管启动 | 2 | 346 | 12.711 | 106.951 | 34.259 | 0 |
| 首次受管启动 | 3 | 347 | 13.719 | 107.907 | 35.244 | 0 |
| 首次受管启动 | 4 | 347 | 14.133 | 107.524 | 35.264 | 0 |
| 平台重启 | 1 | 337 | 14.595 | 107.032 | 34.820 | 0 |
| 平台重启 | 2 | 337 | 14.106 | 105.556 | 33.961 | 0 |
| 平台重启 | 3 | 338 | 15.207 | 106.418 | 33.546 | 0 |
| 平台重启 | 4 | 337 | 15.084 | 106.573 | 35.304 | 0 |
| 重启前功能 | 1 | 12 | 13.971 | 107.656 | 20.125 | 0 |
| 重启前功能 | 2 | 11 | 13.313 | 106.350 | 18.493 | 0 |
| 重启前功能 | 3 | 11 | 14.726 | 106.900 | 19.880 | 0 |
| 重启前功能 | 4 | 12 | 14.806 | 106.851 | 19.353 | 0 |
| 重启后功能 | 1 | 12 | 15.762 | 105.865 | 20.176 | 0 |
| 重启后功能 | 2 | 12 | 15.403 | 104.259 | 16.034 | 0 |
| 重启后功能 | 3 | 11 | 16.556 | 105.070 | 19.811 | 0 |
| 重启后功能 | 4 | 12 | 16.374 | 105.283 | 18.381 | 0 |
| 最终长文检索 | 1 | 348 | 13.156 | 108.471 | 20.410 | 0 |
| 最终长文检索 | 2 | 348 | 12.174 | 107.488 | 18.107 | 0 |
| 最终长文检索 | 3 | 347 | 13.903 | 107.722 | 20.607 | 0 |
| 最终长文检索 | 4 | 347 | 14.028 | 107.629 | 19.762 | 0 |
17 项基础功能检查
平台正常停止、启动后验收通过;思考输出属于功能检查,并非性能测试的生成模式。
| 检查项 | 结果 |
|---|---|
| api-authentication | 通过 |
| chinese | 通过 |
| math | 通过 |
| english | 通过 |
| json | 通过 |
| code | 通过 |
| tool-call | 通过 |
| tool-result | 通过 |
| vision-red | 通过 |
| vision-four-images | 通过 |
| vision-tool-call | 通过 |
| sse-chinese | 通过 |
| prefix-0 | 通过 |
| prefix-1 | 通过 |
| prefix-2 | 通过 |
| prefix-cache-hit-counters | 通过 |
| thinking | 通过 |
7 项视觉与工具用例
平台正常停止、启动后,17 项基础功能检查通过;原视觉与工具脚本 7/7 通过。保留原题图、提示与规则,仅适配鉴权、端口和模型别名。这些是限定场景验收,不代表通用回答或行业视觉准确率。
| 用例 | 结果 |
|---|---|
| V1 stripes | 通过 |
| V2 two images | 通过 |
| V3 grid | 通过 |
| T1 tool call | 通过 |
| T2 tool roundtrip | 通过 |
| T3 parallel calls | 通过 |
| T4 forced tool_choice | 通过 |
请求完整性审计
覆盖正式、计数、预热与冷提示共 268 条;完整流不代表答案正确或未截断。
| 完整 SSE | 成功计数增量 | 前缀命中 token 增量 | 抢占增量 | stop | length |
|---|---|---|---|---|---|
| 268 | 268 | 0 | 0 | 177 | 91 |
逐类批次明细
56 个正式批次与 7 个 ceiling_count 计数批次;计数批次不纳入主表。261 条逐请求明细见 JSON 下载。
| 并发 | 类别 | 吞吐 token/s | 单流解码 token/s | 首字均值 s | 输出 token | 整批耗时 s |
|---|---|---|---|---|---|---|
| C1 | coding | 65.59 | 71.56 | 0.267 | 200 | 3.049 |
| C1 | json | 49.46 | 60.44 | 0.317 | 82 | 1.658 |
| C1 | narrative | 26.88 | 28.16 | 0.267 | 138 | 5.133 |
| C1 | prose | 35.52 | 37.74 | 0.246 | 133 | 3.744 |
| C1 | math | 61.21 | 67.27 | 0.308 | 200 | 3.267 |
| C1 | reasoning | 50.62 | 54.52 | 0.300 | 200 | 3.951 |
| C1 | summary | 31.21 | 36.64 | 0.516 | 103 | 3.301 |
| C1 | format | 61.41 | 75.61 | 0.324 | 102 | 1.661 |
| C1 | ceiling_count | 78.19 | 84.21 | 0.230 | 239 | 3.057 |
| C2 | coding | 115.92 | 64.71 | 0.291 | 400 | 3.451 |
| C2 | json | 74.44 | 43.54 | 0.353 | 170 | 2.284 |
| C2 | narrative | 43.14 | 23.90 | 0.335 | 285 | 6.606 |
| C2 | prose | 47.66 | 27.15 | 0.320 | 263 | 5.518 |
| C2 | math | 94.98 | 52.24 | 0.330 | 400 | 4.212 |
| C2 | reasoning | 79.70 | 43.09 | 0.329 | 400 | 5.019 |
| C2 | summary | 42.16 | 25.88 | 0.675 | 243 | 5.763 |
| C2 | format | 115.69 | 72.03 | 0.367 | 208 | 1.798 |
| C2 | ceiling_count | 147.29 | 80.07 | 0.271 | 478 | 3.245 |
| C3 | coding | 160.94 | 59.68 | 0.350 | 600 | 3.728 |
| C3 | json | 95.87 | 38.61 | 0.389 | 249 | 2.597 |
| C3 | narrative | 51.09 | 18.35 | 0.301 | 440 | 8.611 |
| C3 | prose | 60.60 | 23.36 | 0.291 | 389 | 6.419 |
| C3 | math | 120.89 | 44.38 | 0.353 | 600 | 4.963 |
| C3 | reasoning | 91.39 | 33.17 | 0.457 | 600 | 6.565 |
| C3 | summary | 52.35 | 22.42 | 0.682 | 332 | 6.342 |
| C3 | format | 141.95 | 59.26 | 0.384 | 310 | 2.184 |
| C3 | ceiling_count | 204.49 | 73.50 | 0.267 | 717 | 3.506 |
| C4 | coding | 201.49 | 56.88 | 0.373 | 800 | 3.970 |
| C4 | json | 124.15 | 38.38 | 0.387 | 338 | 2.722 |
| C4 | narrative | 58.82 | 15.87 | 0.326 | 557 | 9.470 |
| C4 | prose | 71.59 | 20.43 | 0.316 | 506 | 7.068 |
| C4 | math | 153.43 | 41.89 | 0.368 | 800 | 5.214 |
| C4 | reasoning | 131.57 | 36.76 | 0.376 | 800 | 6.081 |
| C4 | summary | 63.14 | 21.15 | 0.768 | 425 | 6.731 |
| C4 | format | 132.69 | 42.97 | 0.402 | 435 | 3.278 |
| C4 | ceiling_count | 236.04 | 63.74 | 0.285 | 956 | 4.050 |
| C5 | coding | 234.28 | 53.24 | 0.371 | 1000 | 4.268 |
| C5 | json | 133.21 | 32.86 | 0.398 | 422 | 3.168 |
| C5 | narrative | 64.21 | 14.34 | 0.337 | 770 | 11.992 |
| C5 | prose | 78.38 | 17.96 | 0.339 | 656 | 8.370 |
| C5 | math | 192.32 | 42.43 | 0.403 | 1000 | 5.200 |
| C5 | reasoning | 130.78 | 30.06 | 0.386 | 1000 | 7.647 |
| C5 | summary | 66.83 | 17.88 | 0.880 | 566 | 8.469 |
| C5 | format | 177.84 | 48.42 | 0.428 | 532 | 2.991 |
| C5 | ceiling_count | 296.68 | 63.92 | 0.302 | 1195 | 4.028 |
| C6 | coding | 255.94 | 48.66 | 0.413 | 1200 | 4.689 |
| C6 | json | 148.71 | 30.55 | 0.407 | 506 | 3.403 |
| C6 | narrative | 72.57 | 13.09 | 0.334 | 857 | 11.810 |
| C6 | prose | 89.81 | 17.15 | 0.355 | 773 | 8.607 |
| C6 | math | 203.20 | 37.10 | 0.400 | 1200 | 5.905 |
| C6 | reasoning | 161.95 | 29.08 | 0.411 | 1200 | 7.410 |
| C6 | summary | 75.29 | 16.46 | 1.156 | 706 | 9.377 |
| C6 | format | 215.60 | 46.78 | 0.459 | 618 | 2.866 |
| C6 | ceiling_count | 326.14 | 58.55 | 0.329 | 1434 | 4.397 |
| C8 | coding | 308.79 | 43.66 | 0.503 | 1600 | 5.182 |
| C8 | json | 178.63 | 27.30 | 0.465 | 668 | 3.740 |
| C8 | narrative | 80.92 | 11.30 | 0.414 | 1155 | 14.274 |
| C8 | prose | 105.89 | 15.35 | 0.349 | 996 | 9.406 |
| C8 | math | 231.46 | 32.12 | 0.443 | 1600 | 6.913 |
| C8 | reasoning | 167.87 | 23.66 | 0.771 | 1600 | 9.531 |
| C8 | summary | 81.52 | 13.86 | 1.392 | 937 | 11.494 |
| C8 | format | 218.18 | 37.29 | 0.504 | 853 | 3.910 |
| C8 | ceiling_count | 406.55 | 54.39 | 0.324 | 1912 | 4.703 |
测试负载与统计口径
- 任务与轮次
- coding / json / narrative / prose / math / reasoning / summary / format;一轮全量运行;C8 为沿用同方法的本地扩展
- 生成参数
- temperature=0; thinking=false; stream=true; usage tokens
- 输出上限
- 默认 200 token;summary 150;计数任务 256
- 请求构成
- 268 = 232 正式 + 29 计数 + 3 预热 + 4 冷提示预填充
- 冷提示与缓存
- 编译缓存复用;冷提示不等于清空磁盘或编译缓存;性能测试期间未运行 profiler
- 完整性与长度限制
- 268 条 SSE、DONE、usage 完整;stop 177,length 91;达到长度上限仍保留,不等于质量合格
- 正式性能窗口最低主机可用 12.636 GiB、最高主机已用 108.188 GiB;最终长文窗口分别为 12.174 / 108.471 GiB。主机已用包含系统开销,不是模型独占内存。
- GB10 为统一内存,CPU 与 GPU 不能相加。cgroup 未完整覆盖 GPU 驱动分配;约 20 GiB 的 cgroup 值不是模型总内存。加载日志约 81.69 GiB/rank 也不是整机峰值。
- 约 1 秒采样只记录捕获到的极值;所列窗口未观察到 Docker/cgroup OOM kill,不构成长时间稳定性承诺。
- 本次没有完整通用质量评分;功能通过、流式完整、length 结束与答案正确是不同口径。
- 长文为两个输入长度、各一次单请求、中位置检索;未验证满 300K、8 路长文并发、1M、独立两小时稳定性或全新客户安装。
C 表示并发请求数。TTFT 是首个非空正文输出的等待时间,不是完整回答耗时;预填充速度与输出解码速度也不是同一指标。
规划模型部署与应用集成
根据模型规模、业务任务与并发需求,评估设备配置和推理服务。