Qwen3.6-35B-A3B-NVFP4

Qwen3.6-35B-A3B-NVFP4

NVIDIA 用 Model Optimizer 制作的、预先量化好的 Alibaba Qwen3.6-35B-A3B 的 NVFP4 版本。它能处理文本、图片和视频，可在 Hopper 或 Blackwell GPU 上用 vLLM 运行。

由 nvidia 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 NVIDIA 对 Alibaba 的 Qwen3.6-35B-A3B 语言模型做的 NVFP4 量化，用 Model Optimizer 工具制作。它是带混合注意力的混合专家模型，总参数 35B，激活 3B。权重约 18.7 GB。模型卡说明原始模型不是由 NVIDIA 开发的。

适合谁：适合想要现成量化模型来部署在 NVIDIA GPU 上的开发者，也适合在自有硬件上构建聊天机器人、智能体或文档问答系统的团队。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在应用后面部署预先量化的模型 | vLLM 上的聊天机器人后端
智能体 | 智能体开发者 | 用自己托管的模型驱动智能体系统 | 会用工具的助手
搜索 | RAG 开发者 | 用自己的模型回答针对文档的问题 | 客服知识库机器人
研究 | 机器学习研究人员 | 对照原模型研究 NVFP4 量化 | 并排的质量检查

如果你没有 NVIDIA Hopper 或 Blackwell GPU，可以跳过它，因为模型卡只列出了这两类硬件。

用在哪里：

• vLLM，模型卡点名的唯一运行时引擎
• 配有 NVIDIA Hopper 或 Blackwell GPU 的 Linux 机器
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Use case | Who | What they get back
文本聊天 | 开发者 | 对书面提示的文字回答
图片提问 | 分析人员 | 关于一张图片的文字回答
视频提问 | 媒体团队 | 关于 MP4 或 WebM 视频的文字回答

如何设置：

• Python，用来运行 Hugging Face 下载工具
• 约 18.7 GB 权重所需的磁盘空间
• 一台带有 NVIDIA Hopper 或 Blackwell GPU 并装有 vLLM 的 Linux 机器

1. 用 pip 安装 Hugging Face 的 hub 工具。
2. 用 hf 命令下载模型文件。
3. 按模型卡的说明，用 vLLM 部署这个模型。

pip install -U huggingface_hub
hf download nvidia/Qwen3.6-35B-A3B-NVFP4

如何使用：用 vLLM 部署模型，然后从你自己的应用向它发送文本、图片或视频。模型卡把文本列为唯一输出，上下文长度最高 262K。

示例：你在 Hopper GPU 上用 vLLM 运行这个模型，发给它一份长报告，并就其中一节提问。它返回一个文字回答。

新手与专家：先用一条简短的文本提示开始，再加入图片或视频。模型卡建议在依赖它之前，先用你自己的数据测试这个模型。

模型卡说 NVIDIA 用 Model Optimizer 0.44.0 版本对模型做了量化，并把这次发布称为 NVFP4 1.0 版本。校准用到了一个新闻文章数据集和一个对话数据集。模型卡列出了 MMLU Pro 和 GPQA Diamond 等评测集，但这里显示的文字没有给出分数。

下载模型文件
在 Hopper 或 Blackwell GPU 上用 vLLM 部署
发送文本、图片或视频
返回文字回答

注意事项：

• License: Apache 2.0
• Cost to run: 没有提到费用，但需要 NVIDIA Hopper 或 Blackwell GPU
• Data it reaches: 从 Hugging Face 下载文件，之后在你自己的机器上运行
• Not for: 只有 CPU 的机器，因为模型卡说它是为 NVIDIA GPU 系统构建的
• Limits: 模型卡把训练数据的细节标为未公开

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：Model Optimizer
• 参数量：18.7B
• Weights: about 18.7 GB in U8
• Formats: Safetensors
• 最近 30 天下载：4,104,345
• 点赞：678
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.6-35B-A3B
• Quantized versions: 10
• 标签：safetensors, qwen3_5_moe, nvidia, modelopt, qwen3.6, quantized, fp4, text-generation, conversational, 8-bit

链接

• 模型：https://huggingface.co/nvidia/Qwen3.6-35B-A3B-NVFP4
• 文件：https://huggingface.co/nvidia/Qwen3.6-35B-A3B-NVFP4/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download nvidia/Qwen3.6-35B-A3B-NVFP4

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。