Qwen3.8-27B-FP8

Qwen3.8-27B-FP8

用 Qwen3.8-27B 的 FP8 量化权重处理文字、图片和视频，它是带可调思考模式的 27B 稠密模型。适合用 transformers、vLLM 或 SGLang 部署它的开发者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 Qwen3.8-27B 的 FP8 量化权重，采用 Hugging Face Transformers 格式。Qwen3.8-27B 是一个稠密的视觉语言模型，能读图片和视频，面向编程、研究和长的多步智能体任务。模型卡说 FP8 版本的表现与原版几乎相同。

适合谁：适合想要一个紧凑的稠密模型来做编程和智能体工作、并且希望比全精度文件省内存的开发者，也适合用 vLLM 或 SGLang 部署模型的团队。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 运行 27B 模型做编程和智能体任务 | 请它帮忙完成一个多步编程工作
研究 | 分析师 | 用思考控制对难题做更深入的推理 | 为一个研究问题提高推理强度
托管 | 提供模型服务的团队 | 在 vLLM 或 SGLang 里加载 FP8 文件 | 为内部工具提供视觉语言模型服务

不想自己运行任何东西、想要托管服务的人可以跳过权重，因为模型卡提到了 Qwen Cloud 的官方托管方案。

用在哪里：

• Hugging Face Transformers，使用仓库里提供的格式
• vLLM、SGLang 和 TokenSpeed，模型卡说文件能和它们配合使用
• Windows、macOS 或 Linux，你可以用 Python 下载文件

用途 | 谁用 | 得到什么
智能体式编程 | 开发者 | 在长任务里的规划和对环境反馈更好的处理
图片和视频理解 | 分析师 | 关于图表、文档和长视频的回答
推理控制 | 应用构建者 | 默认开启、可以按请求关闭的思考

如何设置：

你需要先准备：

• Python 和 huggingface_hub 包
• 放权重的空间，F8_E4M3 格式约 27.8 GB，4-bit 约 13.9 GB（估算）
• 模型卡提到的一个引擎，比如 Transformers、vLLM 或 SGLang

1. 安装 Hugging Face hub 包。
2. 把模型文件下载到你的电脑。
3. 在 Transformers、vLLM、SGLang 或 TokenSpeed 里加载它们。

pip install -U huggingface_hub
hf download Qwen/Qwen3.8-27B-FP8

如何使用：下载文件，在模型卡提到的某个引擎里加载，然后和模型聊天，需要的话也可以带图片或视频。这里的模型卡文字没有运行命令，所以请按它的模型卡查看具体调用。

工具 | 作用
思考模式 | 默认开启，可以按每个请求关闭
reasoning_effort | 调节模型推理的深度
preserve_thinking | 保留之前消息里的推理上下文

示例：开发者可以让模型规划并完成一个多步编程任务，遇到难点时把 reasoning_effort 调高。模型卡说这个模型经过调校，能把这类任务做到完成。

新手与专家：这是一个能读文字、图片和视频的中等大小模型。它被量化成 FP8，所以文件更小。第一步可以先下载文件，再读模型卡里关于思考控制的说明。

模型卡说量化方法是块大小为 128 的细粒度 FP8。模型有 64 层，排成十六组，每组是三个 Gated DeltaNet 块加一个 Gated Attention 块，每个块后面接一个前馈网络。隐藏维度是 5120，多 token 预测分多步训练。上下文原生是 262,144 个 token，可以扩展到 1,000,000。

用 hf 下载 FP8 权重
在支持的引擎里加载
发送文字、图片或视频
按需设置思考和推理强度
阅读回复

注意事项：

• 大小：Hugging Face 记录为 27.8B 个参数，F8_E4M3 格式约 27.8 GB，4-bit 约 13.9 GB（估算）
• 版本：Hugging Face 列出了其他人做的 9 个量化版本和 8 个微调版本
• 托管方案：模型卡说 Qwen Cloud 的官方 API 即将推出，带有更多生产功能，比如默认 1M 上下文

Title: Context length in tokens
Native: 262,144 tokens
Extended: 1,000,000 tokens

• License: apache-2.0
• Cost to run: 本地文件没有提到费用，不需要 API 密钥或账号。托管的 Qwen Cloud 服务是另外的
• Data it reaches: 它会从 Hugging Face 下载模型文件，本地运行时模型卡文字没有提到其他服务

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：27.8B
• Weights: about 27.8 GB in F8_E4M3; about 13.9 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：5,442,810
• 点赞：984
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 9
• Fine-tunes: 8
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, conversational, fp8

链接

• 模型：https://huggingface.co/Qwen/Qwen3.8-27B-FP8
• 文件：https://huggingface.co/Qwen/Qwen3.8-27B-FP8/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen3.8-27B-FP8

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。