← 全部模型

通用问答 · 代码开发

DeepSeek-V4.1-Flash-1017

四台 MegaCube GB10 组成 TP4 单副本。调优后八类任务的 C8 平均聚合吞吐为 171.66 token/s,C1 首字延迟 P50 为 0.304 秒。

多模态理解文本、图像 → 文本
4 台 MegaCube调优后实测

01 / 模型与范围

模型与验证范围

本次记录采用已运行并同步集群管理平台的最终 DSpark5 方案,覆盖七档并发、冷提示预填充、内存采样、基础功能及长文检索。此次为 v41bench v1 单轮实测,与旧 real40 三轮测试口径不同,不据此计算直接提速比例,也不沿用旧版质量分数。

  • 本地问答与代码生成
  • 工具调用与结构化输出
  • 长资料中的事实检索
模型版本
DeepSeek-V4.1-Flash-1017
权重与存储
官方 1017 原生权重;各节点本地 NVMe 完整副本;未进行额外 EXL3 转换
输入 / 输出
文本与基础图像输入;文本、结构化结果与工具调用输出
上下文范围
配置上限 300,000 token;实测 130,258 / 260,119 token 单请求中位置检索
数据来源
2026-10-19 调优后实测报告;整理时间 19:40:40(UTC+08:00)

平台正常停止、启动后,17 项基础功能检查通过;原视觉与工具脚本 7/7 通过。保留原题图、提示与规则,仅适配鉴权、端口和模型别名。这些是限定场景验收,不代表通用回答或行业视觉准确率。

实测资料核对于 2026-10-19

02 / 部署方式

MegaCube 部署配置

计算与拓扑
4 × MegaCube GB10;TP4 单副本
存储与互联
各节点本地 NVMe 完整权重;RoCE API1;保留流式权重加载
推理与预填充
DSpark=5; prefill batch tokens=8192; GMU=0.80
调度与内存限制
上下文 300,000 token;最大序列数 8;Docker 每节点上限 112 GiB
Engram 配置
FAST=1; threads=128; chunk=16; retention=128
通信与索引器
NCCL_MAX_NCHANNELS=8; AR≤2MB / AG≤16MB; indexer TP-split=1
内存策略
仅监测内存;固定 12 GiB 自动停容器规则已取消
  1. 核对权重和方案

    固定官方 1017 权重、reference v3 镜像与 DSpark5 方案,四台节点保持一致。

  2. 准备节点与互联

    确认各节点 NVMe 完整权重、RoCE 互联及当前方案参数。

  3. 核对平台交付范围

    本方案已有平台受管与正常停止、启动验收;公开安装包是否包含该方案,需按发行清单确认。

  4. 按实际负载复验

    复验目标任务、API 与流式输出,并关注并发、上下文长度和内存余量。

本页是调优后的验证记录,不将旧版脚本或平台 1.1.0 安装包作为本方案已随包交付的证明。

固定权重与运行版本
权重固定版本
1bae0e1088993b9b82de08f59de5be5a34e42170
容器镜像
megacube/deepseek411017:reference-9fa230d-b58f34e-v3
方案修订
deepseek411017-reference-roce-dspark5-p8192-gmu80-v3
CUDA graph
FULL_AND_PIECEWISE; 5, 6, 10, 12, 15, 18, 20, 24, 25, 30, 35, 36, 40, 42, 48
分配器设置
expandable_segments:False
测试脚本 SHA256
e0d6b2d25bd585d11fbdf39c2ddcdf7a4de8ab685af6bd42465e69f3ee6e80a8

03 / 性能测试

MegaCube 性能测试结果

2026-10-19 · 4 台 MegaCube · v41bench v1 / managed-v1 · 八类固定提示 · C1 / C2 / C3 / C4 / C5 / C6 / C8 · 单轮、非思考、SSE 流式。

171.66 token/sC8 · 八类平均聚合吞吐
0.304 sC1 · 正式请求首字 P50
268 / 268完整 SSE 请求 · 非准确率

吞吐、单流解码和首字均值分别取八类正式任务值的算术平均;P50 / P90 则合并该并发全部正式请求计算,均不含计数任务。批次吞吐 = 输出 token 总数 / 整批耗时;单流解码 =(输出 token − 1)/(总耗时 − 首字耗时)。不能用聚合吞吐除以并发替代单流速度。

八类正式任务均值与请求池分位数分开统计;不是三轮中位数。

七档并发性能
并发平均聚合吞吐 token/s平均单流解码 token/s首字均值 s首字 P50 s首字 P90 s正式请求数
C147.7453.990.3180.3040.3828
C276.7144.070.3750.3320.39516
C396.8937.400.4010.3530.64824
C4117.1134.290.4140.3740.73132
C5134.7332.150.4430.3920.87940
C6152.8829.860.4920.4090.71248
C8171.6625.570.6050.4661.30064

使用实际输入 token;预填充速度 = 输入 token / 首字耗时,不是输出吞吐。

冷提示预填充
实际输入 token首字 s预填充 token/s
29501.8241617.1
115926.9501668.0
4681024.2961926.6
9333555.0581695.2

两个长度各测一次,检索深度均为 0.5;不是多位置、多轮或并发长文测试。

长上下文检索
实际输入 token检索深度首字 s预填充 token/s回答结果
1302580.588.91465.6COPPER-LANTERN-8315通过
2601190.5244.41064.5COPPER-LANTERN-8315通过
资源采样明细

节点以 1–4 匿名展示;约 1 秒采样。主机已用 = Total − Available;Docker 上限 112 GiB 不是实际使用量。

资源采样明细
窗口节点采样数最小可用 GiB最大主机已用 GiB最大 cgroup GiBOOM kill 增量
正式性能测试143113.440108.18820.1990
正式性能测试243112.636107.02718.5830
正式性能测试343014.312107.31420.3660
正式性能测试443014.055107.60220.0660
首次受管启动134615.064106.56335.7100
首次受管启动234612.711106.95134.2590
首次受管启动334713.719107.90735.2440
首次受管启动434714.133107.52435.2640
平台重启133714.595107.03234.8200
平台重启233714.106105.55633.9610
平台重启333815.207106.41833.5460
平台重启433715.084106.57335.3040
重启前功能11213.971107.65620.1250
重启前功能21113.313106.35018.4930
重启前功能31114.726106.90019.8800
重启前功能41214.806106.85119.3530
重启后功能11215.762105.86520.1760
重启后功能21215.403104.25916.0340
重启后功能31116.556105.07019.8110
重启后功能41216.374105.28318.3810
最终长文检索134813.156108.47120.4100
最终长文检索234812.174107.48818.1070
最终长文检索334713.903107.72220.6070
最终长文检索434714.028107.62919.7620
17 项基础功能检查

平台正常停止、启动后验收通过;思考输出属于功能检查,并非性能测试的生成模式。

17 项基础功能检查
检查项结果
api-authentication通过
chinese通过
math通过
english通过
json通过
code通过
tool-call通过
tool-result通过
vision-red通过
vision-four-images通过
vision-tool-call通过
sse-chinese通过
prefix-0通过
prefix-1通过
prefix-2通过
prefix-cache-hit-counters通过
thinking通过
7 项视觉与工具用例

平台正常停止、启动后,17 项基础功能检查通过;原视觉与工具脚本 7/7 通过。保留原题图、提示与规则,仅适配鉴权、端口和模型别名。这些是限定场景验收,不代表通用回答或行业视觉准确率。

7 项视觉与工具用例
用例结果
V1 stripes通过
V2 two images通过
V3 grid通过
T1 tool call通过
T2 tool roundtrip通过
T3 parallel calls通过
T4 forced tool_choice通过
请求完整性审计

覆盖正式、计数、预热与冷提示共 268 条;完整流不代表答案正确或未截断。

请求完整性审计
完整 SSE成功计数增量前缀命中 token 增量抢占增量stoplength
2682680017791
逐类批次明细

56 个正式批次与 7 个 ceiling_count 计数批次;计数批次不纳入主表。261 条逐请求明细见 JSON 下载。

逐类批次明细
并发类别吞吐 token/s单流解码 token/s首字均值 s输出 token整批耗时 s
C1coding65.5971.560.2672003.049
C1json49.4660.440.317821.658
C1narrative26.8828.160.2671385.133
C1prose35.5237.740.2461333.744
C1math61.2167.270.3082003.267
C1reasoning50.6254.520.3002003.951
C1summary31.2136.640.5161033.301
C1format61.4175.610.3241021.661
C1ceiling_count78.1984.210.2302393.057
C2coding115.9264.710.2914003.451
C2json74.4443.540.3531702.284
C2narrative43.1423.900.3352856.606
C2prose47.6627.150.3202635.518
C2math94.9852.240.3304004.212
C2reasoning79.7043.090.3294005.019
C2summary42.1625.880.6752435.763
C2format115.6972.030.3672081.798
C2ceiling_count147.2980.070.2714783.245
C3coding160.9459.680.3506003.728
C3json95.8738.610.3892492.597
C3narrative51.0918.350.3014408.611
C3prose60.6023.360.2913896.419
C3math120.8944.380.3536004.963
C3reasoning91.3933.170.4576006.565
C3summary52.3522.420.6823326.342
C3format141.9559.260.3843102.184
C3ceiling_count204.4973.500.2677173.506
C4coding201.4956.880.3738003.970
C4json124.1538.380.3873382.722
C4narrative58.8215.870.3265579.470
C4prose71.5920.430.3165067.068
C4math153.4341.890.3688005.214
C4reasoning131.5736.760.3768006.081
C4summary63.1421.150.7684256.731
C4format132.6942.970.4024353.278
C4ceiling_count236.0463.740.2859564.050
C5coding234.2853.240.37110004.268
C5json133.2132.860.3984223.168
C5narrative64.2114.340.33777011.992
C5prose78.3817.960.3396568.370
C5math192.3242.430.40310005.200
C5reasoning130.7830.060.38610007.647
C5summary66.8317.880.8805668.469
C5format177.8448.420.4285322.991
C5ceiling_count296.6863.920.30211954.028
C6coding255.9448.660.41312004.689
C6json148.7130.550.4075063.403
C6narrative72.5713.090.33485711.810
C6prose89.8117.150.3557738.607
C6math203.2037.100.40012005.905
C6reasoning161.9529.080.41112007.410
C6summary75.2916.461.1567069.377
C6format215.6046.780.4596182.866
C6ceiling_count326.1458.550.32914344.397
C8coding308.7943.660.50316005.182
C8json178.6327.300.4656683.740
C8narrative80.9211.300.414115514.274
C8prose105.8915.350.3499969.406
C8math231.4632.120.44316006.913
C8reasoning167.8723.660.77116009.531
C8summary81.5213.861.39293711.494
C8format218.1837.290.5048533.910
C8ceiling_count406.5554.390.32419124.703
测试负载与统计口径
任务与轮次
coding / json / narrative / prose / math / reasoning / summary / format;一轮全量运行;C8 为沿用同方法的本地扩展
生成参数
temperature=0; thinking=false; stream=true; usage tokens
输出上限
默认 200 token;summary 150;计数任务 256
请求构成
268 = 232 正式 + 29 计数 + 3 预热 + 4 冷提示预填充
冷提示与缓存
编译缓存复用;冷提示不等于清空磁盘或编译缓存;性能测试期间未运行 profiler
完整性与长度限制
268 条 SSE、DONE、usage 完整;stop 177,length 91;达到长度上限仍保留,不等于质量合格
  • 正式性能窗口最低主机可用 12.636 GiB、最高主机已用 108.188 GiB;最终长文窗口分别为 12.174 / 108.471 GiB。主机已用包含系统开销,不是模型独占内存。
  • GB10 为统一内存,CPU 与 GPU 不能相加。cgroup 未完整覆盖 GPU 驱动分配;约 20 GiB 的 cgroup 值不是模型总内存。加载日志约 81.69 GiB/rank 也不是整机峰值。
  • 约 1 秒采样只记录捕获到的极值;所列窗口未观察到 Docker/cgroup OOM kill,不构成长时间稳定性承诺。
  • 本次没有完整通用质量评分;功能通过、流式完整、length 结束与答案正确是不同口径。
  • 长文为两个输入长度、各一次单请求、中位置检索;未验证满 300K、8 路长文并发、1M、独立两小时稳定性或全新客户安装。

C 表示并发请求数。TTFT 是首个非空正文输出的等待时间,不是完整回答耗时;预填充速度与输出解码速度也不是同一指标。

规划模型部署与应用集成

根据模型规模、业务任务与并发需求,评估设备配置和推理服务。

咨询此模型方案