Qwen3.6-35B-A3B-NVFP4-Fast

Qwen3.6-35B-A3B-NVFP4-Fast

在 NVIDIA 显卡上用 vLLM 运行 Unsloth 制作的快速 NVFP4 版 Qwen3.6 35B A3B。卡片说它的吞吐量是其他 NVFP4 版本的 1.79 倍，并且能放进 32 GB 显卡。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Qwen3.6-35B-A3B 的快速 NVFP4 版本，它是一个能读文本和图像、重点放在编程上的模型。Unsloth 对它做了量化，并用自己的数据集加上 UltraChat 做了校准。文件是给 vLLM 用的 Safetensors 格式，不是 GGUF。记录里列的权重约 19.8 GB。

适合谁：在 NVIDIA 显卡上提供模型服务、并且在意吞吐量的团队。卡片说它能在 32 GB 的显卡上运行。想在本地服务器后面放一个强力编程模型的开发者也适合。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 用自己的 GPU 提供编程模型服务 | 让智能体对接本地 vLLM 服务器
平台团队 | 基础设施工程师 | 提高每秒处理的请求数 | 用一块卡服务很多用户
研究 | AI 研究人员 | 把 NVFP4 版本和 FP8、BF16 比较 | 对照全精度模型检查准确度
自托管 | 注重隐私的团队 | 把提示词留在自己的硬件上 | 在私有网络里运行它

没有 NVIDIA 显卡的人可以跳过它，因为卡片的步骤针对的是 NVIDIA 硬件上的 vLLM。

用在哪里：

• NVIDIA 显卡上的 vLLM，如卡片所示
• DGX Spark 机器，用卡片给出的额外设置
• 在 Windows、macOS 或 Linux 上用 Python 下载文件

Use case | Who | What they get back
高吞吐量服务 | 平台团队 | 一块 GPU 每秒输出更多词元
智能体编程 | 开发者 | 代码改动和仓库级别的推理
更快的解码 | 开发者 | 用内置 MTP 模块起草的回复
图像输入 | 开发者 | 对你发送的图片的回答

如何设置：

• Python，用于 Hugging Face hub 工具
• 一个单独的 vLLM Python 环境，卡片用 uv 来创建
• 较新的 NVIDIA 显卡，以及约 32 GB 的显存

1. 用 pip 安装 Hugging Face hub 工具。
2. 用 hf 命令下载文件。
3. 创建单独的环境，并用卡片的命令安装 vLLM。
4. 用下一步里的命令启动模型服务。

pip install -U huggingface_hub
hf download unsloth/Qwen3.6-35B-A3B-NVFP4-Fast

uv venv unsloth-nvfp4-env --python 3.13
source unsloth-nvfp4-env/bin/activate
uv pip install "vllm>=0.25.0" "flashinfer-python>=0.6.13" "nvidia-cutlass-dsl>=4.5.2" \
    --torch-backend=auto

如何使用：用 vLLM 提供 Fast 版本的服务。卡片警告不要用 Marlin 后端，因为它大约慢一倍。请改用原生 vLLM 后端或 CUTLASS 系列。在 DGX Spark 上，要设置架构变量和 MoE 后端参数，否则推理会慢约一倍。

vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast

export CUTE_DSL_ARCH=sm_121a
vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast --moe-backend flashinfer_b12x

vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast \
    --speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'

Tool | What it does
vllm serve | 为模型启动一个服务器
--moe-backend flashinfer_b12x | 在 DGX Spark 上选对后端
CUTE_DSL_ARCH | 为 DGX Spark 指明芯片架构
--speculative-config | 打开 MTP，让模型自己起草词元
Marlin backend | 要避开，因为它大约慢一倍

示例：你创建环境，安装 vLLM，并用普通命令启动服务器。你向服务器发一个编程问题。卡片说 MTP 选项能加快解码，但吞吐量会稍低一些。

新手与专家：先用普通的启动命令，确认它能回答。只有在你在意单个用户的速度时，才加上 MTP 选项。卡片的吞吐量数字来自一块 B200 GPU 和 128 个并发请求，所以你的结果会不同。

卡片对比了每秒输出的词元数。

Title: Output tokens per second
NVIDIA 27B 用 Marlin: 2403 tokens/s
Unsloth 27B 用 cute-DSL: 6863 tokens/s
NVIDIA 35B-A3B 用 Marlin: 8721 tokens/s
Unsloth 35B-A3B 用 cute-DSL 和 trtllm: 15636 tokens/s

卡片还报告了在 MMLU-Pro、GPQA 和 AIME 2025 上的准确度测试。这个 Fast 版本在 MMLU-Pro 上是 85.58，BF16 是 85.75。它说更快的版本得分和其他版本差不多。

在单独的环境里安装 vLLM
启动 NVFP4 Fast 模型服务
向服务器发送提示词
阅读回复

注意事项：

• Format: NVFP4 的 Safetensors，为 vLLM 而做，不是给 GGUF 工具用的。
• Speed: 卡片说吞吐量比其他 NVFP4 版本快 1.79 倍。
• Backend: 不要用 Marlin，因为它大约慢一倍。
• License: Apache 2.0。
• Cost to run: 未提及。你需要一块够用的 NVIDIA 显卡，来源里没有出现付费服务。
• Data it reaches: 你电脑上的文件，以及来自 Hugging Face 的模型文件。
• Not for: 没有合适 NVIDIA 显卡的机器。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：19.8B
• Weights: about 19.8 GB in U8
• Formats: Safetensors
• 最近 30 天下载：695,020
• 点赞：134
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.6-35B-A3B
• Quantized versions: 4
• 标签：transformers, safetensors, qwen3_5_moe, image-text-to-text, unsloth, qwen, qwen3_5, conversational, 8-bit, compressed-tensors

链接

• 模型：https://huggingface.co/unsloth/Qwen3.6-35B-A3B-NVFP4-Fast
• 文件：https://huggingface.co/unsloth/Qwen3.6-35B-A3B-NVFP4-Fast/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/Qwen3.6-35B-A3B-NVFP4-Fast

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。