Qwen3.8-27B-NVFP4

Qwen3.8-27B-NVFP4

Qwen3.8-27B 的预量化 NVFP4 版本，能读取文字、图片和视频并用文字回答，通过 SGLang 在 NVIDIA Blackwell 显卡上提供服务。适合在该硬件上运行智能体、聊天机器人和 RAG 的开发者。

由 RadixArk 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 RadixArk 制作的 Qwen3.8-27B 量化版本，使用 NVIDIA Model Optimizer 和混合 NVFP4 W4A4 方案。它是多模态模型，接收文字、图片和视频，并用文字回答。RadixArk 没有训练它，所以它的能力来自原版 Qwen 模型。

适合谁：适合想为智能体、聊天机器人和检索系统用现成量化模型、并且拥有 NVIDIA Blackwell 显卡的开发者。模型卡在四块显卡上做了测试，所以这是服务器级的配置，不是笔记本。

Industry | Who uses it | How they use it | Example
AI 应用 | 智能体开发者 | 在智能体背后部署预量化模型 | 用 SGLang 运行并调用它的工具解析器
软件 | 聊天机器人团队 | 托管大型多模态聊天模型 | 处理文字、图片和视频提问
搜索与 RAG | 检索工程师 | 在 RAG 系统里用作回答模型 | 根据检索到的文档回答
基础设施 | 推理工程师 | 在 Blackwell 硬件上测试 NVFP4 | 测量四块显卡上的速度

如果你没有 NVIDIA Blackwell 显卡，可以跳过它，因为模型卡只写了这类硬件和 SGLang 引擎。

用在哪里：

• SGLang，模型卡列出的唯一运行引擎
• NVIDIA Blackwell 显卡，该检查点在 GB300 上制作并验证
• Linux，推荐的操作系统

Use case | Who | What they get back
智能体后端 | 智能体开发者 | 带推理的文字回答，工具调用由 SGLang 解析
聊天机器人服务 | 产品团队 | 对文字、图片和视频输入的回复
RAG 回答 | 搜索团队 | 对长输入的回答，上下文最长 262,144 词元

如何设置：

• 安装好 Python 和 pip，用来下载文件
• 在 Linux 机器上装好 SGLang
• NVIDIA Blackwell 显卡，模型卡示例用四块，另外要存放约 18.2 GB 的权重

1. 安装 Hugging Face hub 包。
2. 下载模型文件。
3. 用下面的命令启动 SGLang，这是模型卡为四块 Blackwell 显卡给出的命令。

pip install -U huggingface_hub
hf download RadixArk/Qwen3.8-27B-NVFP4

如何使用：用这套配置启动 SGLang 服务器，然后向它发送聊天请求。模型卡给的是四块 NVIDIA Blackwell 显卡的配置，其他布局请看它指向的手册。

sglang serve \
  --trust-remote-code \
  --model-path RadixArk/Qwen3.8-27B-NVFP4 \
  --tp-size 4 \
  --mem-fraction-static 0.75 \
  --speculative-algorithm NEXTN \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder \
  --host 0.0.0.0 \
  --port 30000

Tool | What it does
sglang serve | 启动模型的服务器
--tp-size 4 | 把模型拆分到四块显卡上
--reasoning-parser qwen3 | 把模型的推理和答案分开
--tool-call-parser qwen3_coder | 从输出里读出工具调用

示例：你用上面的命令启动服务器，再发送一个带截图和问题的聊天请求。服务器会返回模型的文字回答，推理部分由解析器分开。

新手与专家：如果你刚接触，要知道这是服务器级模型，第一步只是在合适的显卡上把 SGLang 命令跑起来。先检查纯文字回复，再加入工具或图片。

专家会看到一个基于 Qwen3.8-27B 的稠密多模态 Transformer。动态 NVFP4 W4A4 量化覆盖 MLP 投影层和输出头，按 16 个一组处理。注意力权重以 FP8 存储，MTP 和视觉部分保持原来的 BF16 精度。校准使用了 cnn_dailymail 训练集中的 1,024 个样本，序列长度 512。

Title: 该 NVFP4 检查点的报告分数
GSM8K: 97.27 百分比
Terminal-Bench 2.1: 73.81 百分比

下载 NVFP4 检查点
在 Blackwell 显卡上启动 SGLang
发送文字、图片或视频请求
读取文字回答

注意事项：

• Scores: 在四块 B300 或 GB300 显卡上，GSM8K 在思考模式下为 1,319 题中的 1,283 题，Terminal-Bench 2.1 为 84 个任务中的 62 个
• Evaluation scope: 报告的测试只针对文字
• Limits: 基础模型可能给出不准确、有偏见或不想要的回答，所以请针对你的用途测试
• License: Apache 2.0
• Cost to run: 未提及，不需要 API 密钥或账号，但需要 NVIDIA Blackwell 硬件
• Data it reaches: 会从 Hugging Face 下载文件，并读取你发送的文字、图片和视频
• Not for: 模型卡说明它是第三方量化衍生版本，所以请查看上游 Qwen 模型卡了解源模型的限制

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：Model Optimizer
• 参数量：18.2B
• Weights: about 18.2 GB in U8
• Formats: Safetensors
• 最近 30 天下载：979,445
• 点赞：126
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 2
• Fine-tunes: 4
• 标签：safetensors, qwen3_5, radixark, modelopt, qwen3.8, quantized, fp4, nvfp4, image-text-to-text, conversational, 8-bit

链接

• 模型：https://huggingface.co/RadixArk/Qwen3.8-27B-NVFP4
• 文件：https://huggingface.co/RadixArk/Qwen3.8-27B-NVFP4/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download RadixArk/Qwen3.8-27B-NVFP4

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。