Qwen3.8-27B-NVFP4-DGX-SPARK

Qwen3.8-27B-NVFP4-DGX-SPARK

在 DGX Spark 上把 Qwen3.8-27B NVFP4 的解码速度提高约 3.9 倍，权重不变，只靠调好的推测解码配置。适合在 Blackwell GPU 上用 vLLM 部署它的团队。

由 autotrust 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库提供与 NVIDIA 的 Qwen3.8-27B NVFP4 检查点完全相同的权重，另外附带一套针对模型多词元预测头调好的推测解码配置。在 DGX Spark 上，单流解码速度从每秒 12.5 个词元提高到 48.2 个。模型卡说，在温度为 0 时输出词元完全一致，因为用于验证的各层和输出头从未被改动。

适合谁：适合在 Blackwell 硬件上用 vLLM 部署这个 27B 模型、并且在意单流文字出得多快的团队。

行业 | 谁在用 | 怎么用 | 例子
软件 | 推理工程师 | 在 DGX Spark 上更快地输出单流文字 | 流式输出推理过程和代码的编码助手
AI 基础设施 | MLOps 团队 | 针对自己的工作负载调整推测词元数 | 针对聊天或代码调好的 k 值
研究 | 系统研究者 | 研究在带宽受限的机器上起草的成本 | 阅读模型卡里草稿模型的字节账目
开发者 | 智能体构建者 | 以更低的延迟运行本地推理模型 | 会运行测试的代码智能体

如果你没有 Blackwell GPU，可以跳过它，因为模型卡只在这一代上验证过这套配置。

用在哪里：它在 vLLM 0.31.0 或更高版本中运行，适用于 DGX Spark 和 B200 等 NVIDIA Blackwell 机器。

• vLLM 0.31.0 或更高版本
• DGX Spark，或者吞吐高得多的 NVIDIA B200
• 其他 Blackwell 芯片，模型卡验证过 SM 12.0 和 12.1

使用场景 | 谁用 | 得到什么
更快的单流解码 | 开发者 | 在 DGX Spark 上约为基线速度的 3.9 倍
代码和数学生成 | 智能体构建者 | 模型卡里最高的加速，4 到 5 倍
开放式聊天 | 产品团队 | 较小的提升，3 到 4 倍

如何设置：你需要一台带 vLLM 的 Blackwell GPU 机器，以及约 21.9 GB 的空间放权重。

• 一台 Blackwell GPU 机器
• vLLM 0.31.0 或更高版本
• 约 21.9 GB 的磁盘空间放权重

1. 安装 Hugging Face 下载工具。
2. 下载这个仓库，里面有权重、草稿词表掩码和补丁脚本。
3. 按模型卡里的快速开始应用草稿模型补丁，并用推测解码启动 vLLM。

pip install -U huggingface_hub
hf download autotrust/Qwen3.8-27B-NVFP4-DGX-SPARK

如何使用：用 vLLM 提供模型服务并开启推测解码，然后发送普通请求。合适的推测词元数取决于机器和温度，所以你应该在自己的工作负载上做基准测试。

工具 | 作用
MTP 推测解码 | 提前起草若干词元，并一次性检查它们
草稿词表掩码 | 一个 64,064 行的列表，缩小草稿模型要读取的内容
草稿模型补丁脚本 | 应用更便宜的草稿模型配置
BENCH_REPORT.md | 保存字节账目和接受率曲线

示例：在 B200 上，模型卡展示了模型在一个 Dijkstra 最短路径任务中流式输出思考过程和代码。答案是 396 个词元，用时 0.88 秒，约每秒 497 个词元，生成的程序通过了测试。

新手与专家：推测解码让一个小帮手提前猜出几个词，大模型一次性检查这些猜测。猜对时文字出得更快，而最终文字保持不变。第一个小尝试，是按快速开始操作，并比较开启和不开启时每秒的词元数。

对熟悉这个领域的人来说，原生 MTP 在每秒约 37 个词元处不再提升，因为草稿模型在每一步起草时都要读取完整的 248k 词表输出头。这套方案用 64k 草稿词表、NVFP4 草稿头和 NVFP4 的 MTP 层，把每步读取的字节从约 3.4 GB 降到约 0.42 GB。验证用的输出头保持不动，所以输出是无损的。取舍在于，采样温度较高时接受率会下降。

便宜的草稿模型提出若干词元
完整模型一次性检查它们
被接受的词元保留为输出
第一个猜错的词元被替换
输出与不起草时的解码一致

注意事项：速度数字是模型卡自己的基准测试在 DGX Spark 上、温度为 0 时的单流结果。

• 温度：在温度 0.7 时，模型卡建议用 4 到 6 个推测词元，并重新做基准测试。
• B200：同一套方案在那里只多出约 4%，而在 DGX Spark 上约为 28%。
• 权重：它们与上游检查点完全一致，是 NVFP4 和 FP8 的混合精度。

Title: DGX Spark 上的单流每秒词元数
无 MTP: 12.5 tok/s
k=7 的原生 MTP: 37.4 tok/s
k=6 的原生 MTP: 37.5 tok/s
k=8 的这套方案: 48.2 tok/s

Title: B200 上的单流每秒词元数
无 MTP: 128.6 tok/s
k=7 的原生 MTP: 444.0 tok/s
k=7 的这套方案: 463.5 tok/s

• License: Apache 2.0。
• Cost to run: 未提及，来源没有列出 API 密钥、账号或付费服务，不过它需要 Blackwell GPU。
• Data it reaches: 只有你发给自己 vLLM 服务器的提示词，以及你下载的文件。
• Not for: 在较高采样温度下期待完整的加速，因为接受率会下降；也不适合在模型卡没有验证过的 GPU 上运行。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：vllm
• 参数量：18.2B
• Weights: about 18.2 GB in U8
• Formats: Safetensors
• 最近 30 天下载：41,306
• 点赞：1,127
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• 标签：vllm, safetensors, qwen3_5, qwen, qwen3.8, nvfp4, fp4, speculative-decoding, modelopt, dgx-spark, gb10, blackwell

链接

• 模型：https://huggingface.co/autotrust/Qwen3.8-27B-NVFP4-DGX-SPARK
• 文件：https://huggingface.co/autotrust/Qwen3.8-27B-NVFP4-DGX-SPARK/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download autotrust/Qwen3.8-27B-NVFP4-DGX-SPARK

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。