Qwen3.8-27B NVFP4

Qwen3.8-27B NVFP4

NVIDIA 把阿里巴巴 Qwen3.8-27B 压缩成 4 位 NVFP4 的版本，用 Model Optimizer 制作，面向 Blackwell GPU，输入文字、图片和视频，输出文字。

由 nvidia 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3.8-27B NVFP4 是 NVIDIA 对阿里巴巴 Qwen3.8-27B 模型做的压缩版本。它采用 NVFP4 和 FP8 混合格式，由 Model Optimizer 工具制作。模型卡称 NVIDIA 并不拥有也没有开发底层模型，只是把量化版本打包出来。

这个模型能读文字、图片和视频，用文字回答。上下文长度最高 262K。记录列出 18.2B 参数，文件约 18.2 GB。

适合谁：它适合想要现成量化模型来做智能体、聊天机器人或检索问答应用的开发者。它在 NVIDIA Blackwell GPU 上运行。

行业 | 谁在用 | 怎么用 | 例子
软件 | 应用开发者 | 把预先量化的模型放在应用后面提供服务 | 一个还能看截图的聊天机器人
企业 IT | 平台团队 | 在 Blackwell 硬件上运行内部助手 | 给员工用的文档问答工具
智能体 | 智能体开发者 | 把它当作智能体里的推理模型 | 一个会读图片的任务智能体
研究 | 机器学习工程师 | 在 27B 模型上测试 4 位服务 | 与完整模型比较速度

如果你没有 NVIDIA Blackwell GPU，可以跳过它，因为模型卡把它列为支持的硬件。

用在哪里：

• vLLM，模型卡点名的两个引擎之一
• SGLang，模型卡点名的另一个引擎
• Linux，模型卡给出的首选系统
• Windows、macOS 或 Linux，仅用 Python 下载文件

用例 | 谁用 | 得到什么
聊天机器人 | 开发者 | 文字回答，图片和视频作为输入
检索应用 | 工程师 | 能处理最长 262K 上下文的阅读器
智能体系统 | 智能体开发者 | 一个已经量化好的推理模型

如何设置：先准备好下面这些东西。

• Python 和 pip，用于下载命令
• 一块 NVIDIA Blackwell GPU，显存要放得下约 18.2 GB 的权重
• Linux，加上 vLLM 或 SGLang 作为服务引擎

1. 用 pip 安装 Hugging Face hub 包。
2. 用 hf 命令下载仓库。
3. 启动你的服务引擎，让它指向下载好的文件夹。

pip install -U huggingface_hub
hf download nvidia/Qwen3.8-27B-NVFP4

如何使用：你用 vLLM 或 SGLang 来提供模型服务，再发送聊天请求。模型卡可见的部分没有给出运行命令，所以设置请参考各个引擎自己的指南。

部分 | 说明
输入 | 文字、图片和视频
输出 | 文字
上下文 | 最高 262K
量化 | NVFP4 和 FP8 混合，通过 Model Optimizer

示例：你在 Blackwell 机器上用 vLLM 启动模型，给它发一张截图，并问关于页面的问题。回复以文字返回。然后你在同一个提示词上，把速度和答案同完整的 Qwen3.8-27B 做对比。

新手与专家：新手要知道，量化会把模型变小，让它能放进更少的内存并跑得更快，代价是质量有小幅折中。先从一个简短的提示词开始，检查答案。

校准步骤用了 NVIDIA 的 Nemotron 后训练数据。基础模型的训练数据被标为未公开。模型卡点名了几个评测集，但可见的文字里没有分数，所以结果请看 Qwen 的原始模型卡。

从 Qwen3.8-27B 出发
用 Model Optimizer 量化
在 Nemotron 数据上校准
用 vLLM 或 SGLang 提供服务

注意事项：

• License: Apache 2.0
• Cost to run: 来源没有提到费用，但你需要一块 Blackwell GPU
• Data it reaches: 它把文件从 Hugging Face 下载到你的机器上
• Not for: Blackwell 之外的 GPU，因为模型卡只列了这一个系列，也不适合宣称基准分数，因为卡片文字里看不到

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：Model Optimizer
• 参数量：18.2B
• Weights: about 18.2 GB in U8
• Formats: Safetensors
• 最近 30 天下载：268,673
• 点赞：239
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 5
• 标签：safetensors, qwen3_5, nvidia, modelopt, qwen3.8, quantized, fp4, fp8, text-generation, conversational, 8-bit

链接

• 模型：https://huggingface.co/nvidia/Qwen3.8-27B-NVFP4
• 文件：https://huggingface.co/nvidia/Qwen3.8-27B-NVFP4/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download nvidia/Qwen3.8-27B-NVFP4

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。