通用问答 · 代码开发
面向通用问答、代码开发与文档理解的 27B 多模态模型。采用 RadixArk NVFP4 权重，在单台 MegaCube 上部署并验证原生多 token 预测（MTP）。
01 / 模型参数
Qwen3.8-27B 是通义千问的稠密多模态模型，面向日常问答、文档理解、代码开发和工具协作。它结合线性注意力与全注意力，并提供原生多 token 预测组件；同一基础模型的不同量化权重和推理引擎需要分别评估速度与内存需求。
公开模型支持多模态输入；本页 MegaCube 性能矩阵以文本任务为主，不把官方视觉能力视为本机视觉实测。
模型资料核对于 2026-09-20
02 / 部署方式
准备 ARM64 Linux、NVIDIA 驱动、Docker 与 NVIDIA Container Toolkit。
下载 RadixArk/Qwen3.8-27B-NVFP4，挂载到容器中的 /models/target。
配置 NEXTN、steps=3、draft tokens=4 和 FP8 KV，启动 SGLang。
检查 /health 与 /v1/models，使用 qwen3.8-27b 作为模型名连接兼容 API。
在本地模型商店中找到此模型，下载后按卡片指引部署并启用。
下载本地模型商店 →使用前按你的设备修改模型路径和服务地址，并核对上方版本与参数。
uname -m
nvidia-smi
docker version
docker compose version
docker run --rm --gpus all ubuntu:24.04 nvidia-smimkdir -p "$HOME/models/Qwen3.8-27B-NVFP4"
python3 -m venv "$HOME/.venvs/hf-download"
source "$HOME/.venvs/hf-download/bin/activate"
pip install -U huggingface_hub
HF_ENDPOINT=https://hf-mirror.com \
hf download RadixArk/Qwen3.8-27B-NVFP4 \
--revision main \
--local-dir "$HOME/models/Qwen3.8-27B-NVFP4"# 网络下载
docker pull lmsysorg/sglang:v0.5.16-cu130
# 精确复现：在旧 Cube 导出
docker save qwen38-benchmark/sglang-dflash2:dd15fb57 \
| zstd -T0 -3 -o qwen38-sglang-dd15fb57-arm64.tar.zst
# 在新 Cube 导入
zstd -dc qwen38-sglang-dd15fb57-arm64.tar.zst | docker loadmkdir -p "$HOME/qwen38-serving-cache/sglang" \
"$HOME/qwen38-serving-cache/huggingface"
docker run -d \
--name qwen38-nvfp4-mtp-api \
--restart unless-stopped \
--gpus all \
--network host \
--ipc host \
-v "$HOME/qwen38-serving-cache/sglang:/root/.cache/sglang" \
-v "$HOME/qwen38-serving-cache/huggingface:/root/.cache/huggingface" \
-v "$HOME/models/Qwen3.8-27B-NVFP4:/models/target:ro" \
lmsysorg/sglang:v0.5.16-cu130 \
python3 -m sglang.launch_server \
--model-path=/models/target \
--served-model-name=qwen3.8-27b \
--host=0.0.0.0 \
--port=30000 \
--context-length=262144 \
--mem-fraction-static=0.70 \
--kv-cache-dtype=fp8_e4m3 \
--trust-remote-code \
--reasoning-parser=qwen3 \
--tool-call-parser=auto \
--sampling-defaults=model \
--preferred-sampling-params='{"temperature":1.0,"top_p":0.95,"top_k":20,"min_p":0.0,"presence_penalty":0.0,"repetition_penalty":1.0}' \
--speculative-algorithm=NEXTN \
--speculative-num-steps=3 \
--speculative-eagle-topk=1 \
--speculative-num-draft-tokens=4docker logs -f qwen38-nvfp4-mtp-api
# 另开终端执行
curl -fsS http://127.0.0.1:30000/health
curl -fsS http://127.0.0.1:30000/v1/models
curl -fsS http://127.0.0.1:30000/get_model_infocurl http://<Cube-IP>:30000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "qwen3.8-27b",
"messages": [
{"role": "user", "content": "你好，请介绍一下你自己"}
],
"temperature": 1.0,
"top_p": 0.95,
"top_k": 20,
"max_tokens": 1024,
"stream": true
}'03 / 性能测试
2026-08-27；单台 GB10；8 类 Prompt。C1 使用 1 个种子，C4/C8 使用 3 个种子。表中吞吐采用报告的几何平均口径。
| 模式 | 并发 | 请求数 | 输出 Token | 几何平均 Output tok/s | 平均 TTFT | 平均 TPOT | 几何平均 P95 |
|---|---|---|---|---|---|---|---|
| Thinking | 1 | 24 | 17,866 | 19.604 | 224.5 ms | 50.85 ms | 41,741.3 ms |
| Thinking | 4 | 72 | 54,239 | 55.133 | 336.6 ms | 59.52 ms | 50,679.7 ms |
| Thinking | 8 | 72 | 54,058 | 79.072 | 451.4 ms | 69.28 ms | 58,565.0 ms |
| Instruct | 1 | 24 | 17,270 | 23.923 | 214.1 ms | 42.05 ms | 33,293.4 ms |
| Instruct | 4 | 72 | 51,579 | 65.233 | 309.4 ms | 49.13 ms | 40,643.1 ms |
| Instruct | 8 | 72 | 51,264 | 94.198 | 316.4 ms | 57.00 ms | 46,867.2 ms |
| 并发 | 采样数 | 平均接受长度 | 平均接受率 |
|---|---|---|---|
| 1 | 379 | 2.332 | 44.4% |
| 4 | 366 | 2.343 | 44.8% |
| 8 | 234 | 2.344 | 44.8% |
C1 / C4 / C8 表示 1 / 4 / 8 个并发请求。TTFT（首 token 延迟）指从提交请求到接收首个输出 token 的耗时；TPOT（每输出 token 耗时）指首个 token 之后的平均生成间隔。聚合吞吐统计全部并发请求的输出，单请求解码速率以 tok/s 表示。
公开评测参考
以下数据由模型或平台发布方提供，与上方 MegaCube 实测分开呈现。能力评分用于了解任务表现，tok/s 用于描述输出速度；不同模型、精度、硬件和测试协议的结果不宜直接比较。
| 评测项目 | 成绩 | 衡量内容 |
|---|---|---|
| GSM8K | 97.27%（1,283 / 1,319） | 数学应用题 |
| Terminal-Bench 2.1 子集 | 73.81%（62 / 84） | 终端任务完成率 |
测试条件GSM8K 使用完整 1,319 题、思考模式、temperature=1、top_p=0.95、top_k=20。Terminal-Bench 使用 84 个任务子集、Claude Code 2.1.228、pass@1；两项不是 MegaCube 测试。
查看原始评测 ↗根据模型规模、业务任务与并发需求，评估设备配置和推理服务。