Qwen3.8-27B GGUF (ShapeLearn Quantized)

Qwen3.8-27B GGUF (ShapeLearn Quantized)

用 ByteShape 的 ShapeLearn 量化出的 Qwen3.8-27B GGUF 文件，提供五种适合不同显卡的版本，在 llama.cpp 里支持图片输入和 MTP 推测解码。适合在自己的显卡上运行它的人。

由 byteshape 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是用 ByteShape 的 ShapeLearn 量化的 Qwen3.8-27B 的 GGUF 副本。ShapeLearn 会为每个张量学出最合适的数据类型，所以在很低的位数下质量也能保持。这个版本取代了之前的 ShapeLearn-Lite 版本，五个模型都对照 BF16 基线打过分。

适合谁：适合通过 llama.cpp 在自己的显卡上运行 Qwen3.8-27B，并想选一个适合自己显卡的大小和质量取舍的人。

行业 | 谁在用 | 怎么用 | 例子
软件 | 有消费级显卡的开发者 | 选一个适合自己显存的模型大小 | 显存较小的显卡选一个更小的文件
研究 | 对比量化方案的人 | 阅读模型卡上的质量与速度对比图 | 把 ShapeLearn 文件和其他公开的 GGUF 副本做对比
视觉工作 | 会发送图片的用户 | 连同视觉投影文件一起运行模型 | 针对一张图片提问

想要未量化权重的人可以跳过它，因为这里的每个文件都是量化过的。

用在哪里：

• llama.cpp，通过 llama-server
• llama-server 在你自己的机器上提供的网页界面
• RTX 5090 这类显卡，模型卡对它做了基准测试，另外还有 4090、4080、5060 Ti、3090 和 RTX PRO 6000 Blackwell
• Windows、macOS 或 Linux，你可以用 Python 下载文件

用途 | 谁用 | 得到什么
本地聊天和编程 | 开发者 | 一个按 Model Tag 选好模型的 llama-server
视觉提问 | 有图片的用户 | 用到自动下载的视觉投影文件的回答
更快的解码 | 看重速度的用户 | 不需要单独草稿模型的 MTP 推测解码

如何设置：

你需要先准备：

• llama.cpp，如果想用 DFlash 2，需要 b10658 或更新的版本
• 能放下所选模型的显卡，五个模型里最小的约 8.8 GB 起
• Python 和 huggingface_hub 包，如果你想自己下载文件

1. 从模型卡的表里选一个模型，并复制它的 Model Tag。
2. 确认你的 llama.cpp 版本足够新。
3. 如下所示，用这个标签运行 llama-server。

llama-server -hf <MODEL_TAG> --mmproj-auto --spec-type draft-mtp --spec-draft-n-max 3

llama-server --help | grep spec-type

pip install -U huggingface_hub
hf download byteshape/Qwen3.8-27B-GGUF

如何使用：用一个 Model Tag 运行 llama-server，然后打开它在你机器上提供的网页界面。第一次运行时，llama.cpp 会获取模型和视觉投影文件。draft-mtp 选项会打开 MTP 推测解码，草稿数量选项决定每一步起草多少个 token。

工具 | 作用
--mmproj-auto | 加载视觉投影文件，让模型能读图片
--spec-type draft-mtp | 用 GGUF 里自带的头打开 MTP 推测解码
--spec-draft-n-max | 设置每一步起草多少个 token

示例：你复制五个模型之一的 Model Tag，然后用它运行 llama-server。llama.cpp 会下载模型和视觉投影文件，然后你打开网页界面聊天。模型卡说，推测解码会在普通解码的基础上再快 1.4 到 1.8 倍。

新手与专家：量化会缩小模型，让它能放进更小的显卡，代价是质量会有一点损失。第一步可以先选表里最小的模型，运行上面的命令。

ShapeLearn 为每个张量选一种数据类型，所以每个文件混合了多种量化类型，而不是全部用同一种。模型卡在 RTX 5090 上画出质量与每秒 token 数的关系，质量是它的基准测试集上相对 BF16 的平均分。速度数字是用普通下一个 token 预测做的单流解码。MTP 头就在 GGUF 里面，所以你不需要单独的草稿模型。

从表里选一个模型
复制它的 Model Tag
用这个标签运行 llama-server
llama.cpp 获取模型和投影文件
在网页界面里聊天

注意事项：

• 大小：Hugging Face 记录为 27.3B 个参数，4-bit 约 13.7 GB（估算），模型卡自己的文件从 8.8 GB 起
• 评测：模型卡对数学、编程、通用知识、指令遵循和智能体工具使用打了分，包括思考模式和指令模式
• 版本：Hugging Face 列出了其他人做的 1 个量化版本
• DFlash 2：需要 b10658 或更新的 llama.cpp 版本，而 draft-mtp 在这个版本之后的任何版本上都能用

Title: Model size in GB, first three of five models
GPU-1: 8.8 GB
GPU-2: 9.9 GB
GPU-3: 10.4 GB

• License: apache-2.0
• Cost to run: 没有提到，不需要 API 密钥或账号
• Data it reaches: llama.cpp 第一次运行时会下载模型和视觉投影文件，网页界面运行在你自己的机器上
• Not for: 在早于 b10658 的 llama.cpp 版本上用 DFlash 2，因为是这个版本加入的支持

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：27.3B
• Weights: about 13.7 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：2,083,628
• 点赞：216
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 1
• 标签：transformers, gguf, qwen3.8, byteshape, shapelearn, dflash, agentic, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/byteshape/Qwen3.8-27B-GGUF
• 文件：https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download byteshape/Qwen3.8-27B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。