Qwen3.8-27B-NVFP4

Qwen3.8-27B-NVFP4

Unsloth 制作的 Qwen3.8 27B 视觉语言模型的 4-bit NVFP4 副本，用 vLLM 提供服务。适合想要能读图像和视频、能在智能体工具里工作的稠密模型的开发者。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3.8-27B-NVFP4 是 Unsloth 对 Qwen/Qwen3.8-27B 做的 NVFP4 量化版本。原模型是 27B 稠密模型，能理解文字、图像和视频，还有可切换的思考模式。NVFP4 文件是 Safetensors 格式，记录里列出的权重约 19.9 GB。

适合谁：在自己硬件上部署大模型，并想用更小的 Qwen3.8 4-bit 副本做编程和智能体工作的开发者。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在 Codex 这类编程智能体背后运行本地模型 | 支持 developer 角色的本地接口
研究 | AI 研究者 | 测试量化的视觉语言模型 | 针对一张图表提问
企业 | 平台团队 | 用 vLLM 提供私有模型服务 | 能读文档的内部助手
媒体 | 视频团队 | 对长视频提问 | 一小时素材的摘要

如果你用的是 SGLang 而且版本不是 0.5.19，可以跳过它，因为模型卡说 FP8 输出层把它限制在那一个版本。

用在哪里：

• vLLM，模型卡说它能配合这个模型使用
• SGLang，但只限 0.5.19 版本
• Unsloth Desktop，模型卡说它可以运行和微调 Qwen3.8
• Codex 这类智能体工具，通过 developer 角色支持

Use case | Who | What they get back
编程和智能体任务 | 开发者 | 适合长链条多步工作的模型
图像和视频提问 | 分析师 | 针对图片和视频的文字回答
工具调用 | 开发者 | 对工具调用里嵌套对象的解析更好

如何设置：

• 电脑上装有 Python 和 pip
• 支持 NVFP4 的 GPU 运行时，比如 vLLM
• 约 19.9 GB 磁盘空间存放权重

1. 安装 Hugging Face hub 软件包。
2. 用 hf 命令下载模型文件。
3. 按模型卡里提到的 Unsloth 指南，用 vLLM 提供服务。

pip install -U huggingface_hub
hf download unsloth/Qwen3.8-27B-NVFP4

如何使用：用 vLLM 提供模型服务，再给它发聊天请求。思考模式默认开启，你可以按请求关闭。推理深度用 reasoning_effort 设置，preserve_thinking 会把之前的推理保留在历史里。

Setting | What it does
reasoning_effort | 调节模型推理的深度
preserve_thinking | 把之前消息里的推理保留在上下文里
thinking mode | 默认开启，可以针对单个请求关闭
presence_penalty | 可以调高来减少没完没了的重复，但有混用语言的风险

示例：你在思考模式下让它为一个代码库规划重构。它先把步骤推理一遍，再返回一份计划，智能体工具可以照着执行。

新手与专家：如果你是新手，用 vLLM 和模型卡上的采样数值，先用一个简短的问题测试。这是个大模型，所以要先确认你的 GPU 显存。

如果你懂这个领域，27B 基础模型有 64 层，交替排列 Gated DeltaNet 和 Gated Attention 块。原生上下文是 262,144 个词元。模型卡说输出层保持 FP8 而不是 4-bit，这就是 SGLang 需要 0.5.19 版的原因。它还提到用 MTP 加快推理。

Qwen3.8-27B 基础模型
Unsloth NVFP4 量化
用 vLLM 提供服务
文字、图像和视频回答

注意事项：

• License: Apache 2.0
• Cost to run: 你自己的 GPU 硬件，没有提到付费服务
• Data it reaches: 你下载的文件，以及你发给自己服务器的提示词
• Versions: 别人已发布 7 个量化版本和 1 个微调版本

Hugging Face 上的数据（2026年11月13日）

• 参数量：19.9B
• Weights: about 19.9 GB in F8_E4M3; about 9.9 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,939,275
• 点赞：540
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 7
• Fine-tunes: 1
• 标签：safetensors, qwen3_5, unsloth, compressed-tensors

链接

• 模型：https://huggingface.co/unsloth/Qwen3.8-27B-NVFP4
• 文件：https://huggingface.co/unsloth/Qwen3.8-27B-NVFP4/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/Qwen3.8-27B-NVFP4

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。