通用问答 · 代码开发
采用 NVFP4 量化的单机多模态推理方案，覆盖问答、代码开发与智能体任务。结合本地 NVMe 分层加载，在统一系统内存容量内运行模型。
01 / 模型参数
Qwen3.8-Flash-Next 是面向通用问答和智能体工作的多模态混合专家模型。它通过稀疏专家、混合注意力和可分层加载的嵌入组件，在每一步只调用部分计算资源；参数总量、每步激活参数和实际设备内存占用是不同概念。
本页单机实测主要覆盖低并发文本与代码任务。模型公开支持视觉理解；262K 为本方案服务配置上限，尚未完成满长度压力验证。
模型资料核对于 2026-09-20
02 / 部署方式
下载 NVFP4 权重到高速 NVMe，PLE 分层读取需要本地磁盘配合。
使用报告指定的 vLLM 镜像及 rc2 配置，校验权重与部署包。
默认采用 C1 / MTP3，开启 Prefix Cache，保留默认 Compile / Graph。
先做健康检查及代表性任务预热，再将品悟连接到模型服务。
| 参数 | C1正式推荐 | 说明 |
|---|---|---|
| 模型 | nvidia/Qwen3.8-Flash-Next-NVFP4 | ModelOpt NVFP4检查点，约123.57GiB / 132.7GB |
| 推理引擎 | vLLM 0.28.1rc1.dev388 · CUDA 13.0 | ARM64 / GB10环境 |
| 并行与调度 | TP1 · max-num-seqs=1 · max-num-batched-tokens=2048 | 单流优先 |
| 上下文与内存 | max-model-len=262144 · GMU=0.80 · KV=auto | 262K是配置上限，不代表已完成满长度压力验证 |
| 推测解码 | MTP=3 · draft vocab=65536 | 主要吞吐提升来源 |
| PLE | 本地NVMe mmap + staged gather | 避免约50GiB PLE表完整常驻统一内存 |
| Compile / Graph | 默认VLLM_COMPILE / FULL_AND_PIECEWISE | 优于eager，TTFT长尾优于mode0方案 |
| MoE后端 | auto → FLASHINFER_CUTLASS | 由当前引擎自动选择 |
| Prefix Cache | 默认开启 | Agent多轮、固定系统提示词与工具定义受益 |
| Thinking | 默认关闭 | 报告性能数据均按thinking off |
使用前按你的设备修改模型路径和服务地址，并核对上方版本与参数。
python3 -m pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
hf download nvidia/Qwen3.8-Flash-Next-NVFP4 \
--local-dir /var/tmp/models/Qwen3.8-Flash-Next-NVFP4-nvidiadocker pull \
vllm/vllm-openai:nightly-8a728663c1c3eeace834a95f5654fa653cc1998c
# 归档镜像摘要
# sha256:5cba4263b05c258ad4f423f10d83fb7c0da742796471c1b22207642f2733d940tar -xzf MegaCube-Qwen3.8-Flash-Next-NVFP4-single-1.0.0-rc2.tar.gz
cd megacube-qwen38fn-single
sha256sum -c SHA256SUMS
bash megacube.sh deploy
# 后续管理
bash megacube.sh start
bash megacube.sh stop
bash megacube.sh status
bash megacube.sh logs
bash megacube.sh smoke-testbash qwen38fn-c1-balanced.sh
until curl -fsS http://127.0.0.1:8000/health; do
sleep 10
done
curl -s http://127.0.0.1:8000/v1/modelscurl http://MODEL_SERVER_IP:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model":"qwen3.8-flash-next",
"messages":[{"role":"user","content":"请用C语言写一个冒泡排序算法"}],
"temperature":0,
"max_tokens":256,
"stream":true,
"chat_template_kwargs":{"enable_thinking":false}
}'03 / 性能测试
2026-09-13；40 题、八类真实任务、三轮交错复测；Thinking 关闭。C1 解码数据为中位数，前缀缓存另用约 19.9K-token 公共前缀测试。
| 配置 | 解码P50 | P10 | TTFT P50/P95 | 质量分 | MTP接受率 |
|---|---|---|---|---|---|
| MTP3 · 正式推荐 | 43.70 tok/s | 26.90 | 0.26 / 0.30秒 | 0.842 | 66.17% |
| MTP4 · 吞吐可选 | 46.25 tok/s | 26.00 | 0.27 / 0.32秒 | 0.860 | 57.83% |
| 配置 | 聚合吞吐 | TTFT P95 |
|---|---|---|
| MTP3 | 48.20 | 0.47秒 |
| MTP4 | 51.60 | 0.53秒 |
| 状态 | TTFT | 查询token | 命中token | 命中率 | 解码tok/s |
|---|---|---|---|---|---|
| 冷前缀 | 11.579秒 | 19,884 | 0 | 0% | 28.012 |
| 首次复用/预热 | 11.568秒 | 19,884 | 0 | 0% | 26.475 |
| 稳定热缓存1 | 1.509秒 | 19,884 | 17,600 | 88.51% | 26.792 |
| 稳定热缓存2 | 1.483秒 | 19,884 | 17,600 | 88.51% | 27.675 |
| 稳定热缓存3 | 1.486秒 | 19,884 | 17,600 | 88.51% | 26.537 |
C1 / C4 / C8 表示 1 / 4 / 8 个并发请求。TTFT（首 token 延迟）指从提交请求到接收首个输出 token 的耗时；TPOT（每输出 token 耗时）指首个 token 之后的平均生成间隔。聚合吞吐统计全部并发请求的输出，单请求解码速率以 tok/s 表示。
公开评测参考
以下数据由模型或平台发布方提供，与上方 MegaCube 实测分开呈现。能力评分用于了解任务表现，tok/s 用于描述输出速度；不同模型、精度、硬件和测试协议的结果不宜直接比较。
| 评测项目 | 成绩 | 衡量内容 |
|---|---|---|
| GPQA Diamond | 91.5 | 高难度科学问答 |
| Terminal-Bench 2.1 | 82.9 | 终端中的多步骤任务 |
| MMMU Pro | 78.3 | 多学科多模态理解 |
测试条件temperature=1、top_p=0.95、最大输出预算 131,072 tokens，推理强度 xhigh。不同评测的工具框架与任务环境见来源；不是本页单机吞吐或准确率复测。
查看原始评测 ↗根据模型规模、业务任务与并发需求，评估设备配置和推理服务。