Qwen3.8-27B-QUASAR-NVFP4

Qwen3.8-27B-QUASAR-NVFP4

以 4-bit NVFP4 运行 Qwen3.8-27B，仅 19.7 GB，用 QUASAR 方法训练，使它接近完整的 BF16 模型。适合在 NVIDIA Blackwell GPU 上用 vLLM 部署的人。

由 QUASAR-QAT 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen3.8-27B 的 4-bit NVFP4 版本，用量化感知训练方法 QUASAR 制作。这个方法让 4-bit 权重去模仿一份没有改动的 BF16 副本，得到的是一个常规的 NVFP4 检查点。全部 496 个 transformer 线性层都是 4-bit，整个模型占 19.7 GB。

适合谁：在一块 NVIDIA Blackwell GPU 上部署 27B 模型、想让质量接近全精度版本的团队。

Industry | Who uses it | How they use it | Example
AI 基础设施 | 机器学习工程师 | 在单块 Blackwell 显卡上部署 27B 模型 | 由 vLLM 支撑的 OpenAI 风格接口
软件 | 开发者 | 在本地运行带推理和工具调用的模型 | 通过服务器调用工具的智能体
研究 | 量化研究者 | 把 QUASAR 与其他 NVFP4 版本比较 | 并排查看 GPQA-Diamond 和 AIME'26 分数
企业 IT | 平台团队 | 降低 27B 模型的内存占用 | 19.7 GB，而 BF16 是 55.6 GB

如果你没有支持 FP4 的 NVIDIA GPU，可以跳过它，因为模型卡要求 Blackwell。

用在哪里：

• vLLM，它不需要转换步骤就能部署这个模型
• NVIDIA Blackwell GPU，计算能力 10.0 或更高
• 32 GB 内存的消费级显卡，比如 RTX 5090，需要先缩短上下文长度

Use case | Who | What they get back
提供聊天接口 | 机器学习工程师 | 一个能带推理和工具调用回答请求的 vLLM 服务器
节省 GPU 内存 | 平台团队 | 模型只占 19.7 GB，而不是 55.6 GB
长上下文工作 | 开发者 | 在更大的显卡上最长 262144 个 token 的上下文

如何设置：你需要支持 FP4 的 NVIDIA GPU、装有 pip 的 Python 和较新的 vLLM。模型卡指明 vLLM 0.27 或更新版本。

• NVIDIA Blackwell GPU
• Python 和 pip
• vLLM 0.27 或更新版本

1. 安装 vLLM。
2. 用下面的命令启动服务器，首次使用时会下载模型。
3. 在 32 GB 的显卡上，把上下文长度降到 65536。

pip install "vllm>=0.27"

vllm serve QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4 \
  --max-model-len 262144 \
  --gpu-memory-utilization 0.85 \
  --max-num-seqs 512 \
  --speculative-config '{"method": "mtp", "num_speculative_tokens": 2}' \
  --enable-auto-tool-choice --tool-call-parser qwen3_xml \
  --reasoning-parser qwen3

如何使用：用上面的命令启动服务器，然后像调用任何 OpenAI 风格接口一样向它发送聊天请求。解析器会把工具调用和推理放进标准字段。在 32 GB 的显卡上，缩短上下文。

--max-model-len 65536

Tool | What it does
vllm serve | 启动模型服务器
--max-model-len | 设置以 token 计的上下文长度
--gpu-memory-utilization | 设置服务器可以使用多少 GPU 内存
--speculative-config | 用两个草稿 token 开启推测解码
--tool-call-parser | 解析模型的工具调用
--reasoning-parser | 把模型的推理与答案分开

示例：你启动服务器，通过它的聊天接口向模型提一个困难的多步骤问题。它先推理再回答，如果你提供了工具，工具调用会出现在解析后的字段里。

新手与专家：如果你是新手，你需要一块较新的 NVIDIA 显卡和 vLLM，第一次运行会下载约 19.7 GB。先用较短的上下文设置。

如果你熟悉这个领域，QUASAR 是对照冻结 BF16 教师做一个 epoch 的量化感知蒸馏，批大小 32，学习率 1e-6，共 2446 步。它连注意力层和门控 delta-net 层也一起量化，并导出标准的 NVFP4，没有自定义推理路径。

以冻结的 BF16 模型为教师
对照它训练 NVFP4 权重
导出标准的 NVFP4 权重
直接用 vLLM 部署

注意事项：模型卡在同一套设置下，把这个版本与另外两个公开的 NVFP4 版本做了比较。它的 GPQA-Diamond 分数是 90.91，BF16 原版是 91.41，AIME'26 两者都是 100.0。

Title: 模型大小，单位 GB
QUASAR NVFP4: 19.7 GB
Unsloth NVFP4: 23.4 GB
Inferact NVFP4: 26.4 GB
BF16 original: 55.6 GB

• Quantized layers: 这个版本是 496 层中的 496 层，被比较的另外两个是 168 和 304
• 这些分数是作者自己的评测
• License: Apache 2.0
• Cost to run: 没有提到，但你需要 NVIDIA Blackwell GPU
• Data it reaches: vLLM 下载的文件，以及你发给自己服务器的请求
• Not for: 不支持 FP4 的 GPU

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：27.8B
• Weights: about 27.8 GB in U8
• Formats: Safetensors
• 最近 30 天下载：119,414
• 点赞：164
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 12
• Fine-tunes: 3
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, qwen3.8, nvfp4, fp4, w4a4, 4bit, quantization, quantized, quantization-aware-training

链接

• 模型：https://huggingface.co/QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4
• 文件：https://huggingface.co/QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。