Qwen3.6-27B-MTP-GGUF

Qwen3.6-27B-MTP-GGUF

用 Qwen3.6 27B 写代码和推理，提供 Unsloth 制作的、带多词元预测的 GGUF 文件，卡片说回复能快约 1.5 到 2 倍，且不损失准确度。为编程智能体而做。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Qwen3.6-27B 的 GGUF 版本，它是一个 27.3B 参数、能读文本和图像、重点放在编程上的模型。Unsloth 制作了这些文件，并把多词元预测，也就是 MTP，包含在内。4-bit 权重估计约 13.7 GB。

适合谁：想要强力本地编程模型，并希望在好 GPU 上获得更快回复的开发者。卡片说它能处理前端工作和整个代码仓库范围的推理。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 用本地模型做智能体编程 | 跨多个文件修一个 bug
软件 | 前端团队 | 构建和调整界面代码 | 根据描述起草一个页面布局
研究 | AI 研究人员 | 研究 llama.cpp 里的多词元预测 | 分别在开启和关闭 MTP 时给回复计时
自托管 | 注重隐私的团队 | 把代码留在自己的机器上 | 在私有网络里运行这个模型

只有小笔记本的人可以跳过它，因为 27B 模型需要大量内存。

用在哪里：

• 按卡片所示，用 llama.cpp 构建出来的 llama-server
• Unsloth Studio，卡片说它会按你的硬件设置 MTP 选项
• Codex 和 OpenCode 这类编程工具，卡片说它们现在支持 developer 角色
• 在 Windows、macOS 或 Linux 上用 Python 下载文件

Use case | Who | What they get back
智能体编程 | 开发者 | 代码改动和仓库级别的推理
更快的回复 | 有 GPU 的任何人 | 相同的回答，等待的步骤更少
工具调用 | 智能体开发者 | 对工具调用里嵌套对象的更好处理
图像输入 | 开发者 | 对你发送的图片的回答

如何设置：

• Python，用于 Hugging Face hub 工具
• 包含 llama-server 的 llama.cpp 构建，用 GPU 时要打开 CUDA 来构建
• 你选的文件所需的磁盘空间和内存，4-bit 权重估计约 13.7 GB

1. 用 pip 安装 Hugging Face hub 工具。
2. 用 hf 命令下载文件，或者让 llama-server 自己获取。
3. 按卡片第一个代码块从源码构建 llama.cpp。做 CPU 或 Metal 构建时要关掉 CUDA。
4. 用卡片的第二个代码块启动 llama-server。

pip install -U huggingface_hub
hf download unsloth/Qwen3.6-27B-MTP-GGUF

如何使用：用下面的命令启动服务器。它会取回 UD-Q4_K_XL 文件，把层卸载到 GPU，设置 8192 的上下文，打开 flash attention，并启用 MTP 草稿模型。卡片说 MTP 目前还不支持多个并行槽位和 mmproj 选项。

export LLAMA_CACHE="unsloth/Qwen3.6-27B-MTP-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.6-27B-MTP-GGUF:UD-Q4_K_XL \
    -ngl 99 -c 8192 -fa on -np 1 \
    --spec-type draft-mtp --spec-draft-n-max 2

Tool | What it does
-hf | 从 Hugging Face 加载模型，冒号后面是文件类型
-ngl 99 | 把层卸载到 GPU
-c 8192 | 设置上下文大小
-np 1 | 用一个并行槽位，这是 MTP 目前唯一支持的值
--spec-type draft-mtp | 打开多词元预测草稿模型
--spec-draft-n-max 2 | 每一步最多允许 2 个草稿词元

示例：你用卡片的命令启动服务器，请模型修一个小项目里的 bug。草稿模型往前猜几个词元，主模型来检查它们。卡片说这会让回复快约 1.5 到 2 倍，且不损失准确度。

新手与专家：先原样运行卡片里的命令。如果你不想手动调选项，就用 Unsloth Studio，因为它会按你的硬件设置 MTP 选项。每次只改一处。

卡片描述了 Qwen3.6 的两项升级。第一项是更强的智能体编程，涵盖前端工作和整个仓库的推理。第二项是思考保留，这个选项会保留之前消息里的推理，让迭代工作少做重复的功夫。

用模型和 MTP 启动 llama-server
草稿模型往前猜最多 2 个词元
主模型检查每一个猜测
被确认的词元成为回复的一部分

注意事项：

• Speed: 卡片说 MTP 能让推理快约 1.5 到 2 倍，且不损失准确度。
• Limits: MTP 目前还不支持多个并行槽位和 mmproj 选项。
• Context: 窗口原生是 262,144 词元，扩展后可达 1,010,000。
• License: Apache 2.0。
• Cost to run: 未提及。来源里没有出现 API 密钥或付费服务。
• Data it reaches: 你电脑上的文件，以及来自 Hugging Face 的模型文件。
• Not for: 目前在 MTP 下运行多个并行槽位。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：27.3B
• Weights: about 13.7 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：46,035
• 点赞：1,344
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.6-27B
• Quantized versions: 8
• Fine-tunes: 2
• 标签：transformers, gguf, unsloth, qwen, qwen3_5, image-text-to-text, imatrix, conversational

链接

• 模型：https://huggingface.co/unsloth/Qwen3.6-27B-MTP-GGUF
• 文件：https://huggingface.co/unsloth/Qwen3.6-27B-MTP-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/Qwen3.6-27B-MTP-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。