Qwen3.6-35B-A3B-MTP-GGUF

Qwen3.6-35B-A3B-MTP-GGUF

通过 Unsloth 的 GGUF 文件在本地运行 Qwen3.6-35B-A3B，带多词元预测，让 llama.cpp 解码更快。适合想要本地智能体编程模型的开发者。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Unsloth 对 Qwen/Qwen3.6-35B-A3B 的 GGUF 构建，包含多词元预测（MTP）支持。Qwen3.6-35B-A3B 是 35B 的混合专家模型，激活参数 3B，带视觉编码器，重点是智能体编程。卡片说 MTP 能让推理快约 1.5 到 2 倍，而且不损失准确度。

适合谁：想要本地编程和智能体模型、在意解码速度的开发者。也适合使用 Unsloth Studio、希望它自动选好 MTP 设置的人。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 运行本地编程模型，处理前端和代码仓库工作 | 请它修复跨多个文件的一个 bug
智能体 | 智能体开发者 | 在编程智能体里使用 developer 角色支持 | 接入 Codex 或 OpenCode
研究 | 推理工程师 | 测试带 MTP 的推测解码 | 比较开启和关闭 MTP 的速度

如果你需要并行处理多个请求，或在 MTP 下输入图像，可以跳过它，因为卡片说目前都还不支持。

用在哪里：

• llama.cpp，使用 llama-server
• Mac、CPU 或 GPU 上的 Unsloth Studio
• Windows、macOS 或 Linux

Use case | Who | What they get back
智能体编程 | 开发者 | 前端和代码仓库级别的推理
更快的本地聊天 | 任何人 | 通过 MTP 草稿得到更快的回复
工具调用 | 智能体开发者 | 更好地解析工具调用里的嵌套对象

如何设置：

• 带 pip 的 Python，用来下载文件
• 带 CUDA 的 llama.cpp 构建，CPU 和 Metal 则关闭 CUDA
• 按 Hugging Face 的估算，4 位约需 17.8 GB 内存

1. 安装 Hugging Face hub 包。
2. 克隆 llama.cpp，并用 cmake 构建 llama-server。
3. 用模型和 MTP 参数启动 llama-server。

pip install -U huggingface_hub
hf download unsloth/Qwen3.6-35B-A3B-MTP-GGUF

卡片里的构建命令在克隆 llama.cpp 之后运行，如下。CPU 或 Metal 请设置 -DGGML_CUDA=OFF。

cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

如何使用：用 draft-mtp 推测类型启动 llama-server。卡片说 np 大于 1 和 mmproj 目前还不能与 MTP 一起用。

export LLAMA_CACHE="unsloth/Qwen3.6-35B-A3B-MTP-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.6-35B-A3B-MTP-GGUF:UD-Q4_K_XL \
    -ngl 99 -c 8192 -fa on -np 1 \
    --spec-type draft-mtp --spec-draft-n-max 2

Tool | What it does
llama-server | 提供模型服务，这里开启了 MTP 草稿
Unsloth Studio | 运行并微调模型，并为你的硬件设置 MTP 选项

示例：你用上面的命令启动 llama-server，在聊天里问一个编程问题。模型会提前草拟几个词元再检验，所以回复比不用 MTP 更快。

新手与专家：如果你是新手，Unsloth Studio 是更简单的路线，因为它会为你的硬件选好 MTP 设置。想要完全掌控时再用 llama-server 命令。

Qwen3.6-35B-A3B 有 40 层，按 Gated DeltaNet 和 Gated Attention 块重复排列，前馈层是混合专家，共 256 个专家，每次激活 8 个路由专家和 1 个共享专家。Qwen3.6 还新增了一个选项，可以保留前面消息里的推理上下文。

下载 MTP GGUF 文件
构建带 llama-server 的 llama.cpp
用 draft-mtp 启动服务器
模型草拟并验证词元
回复更快到达

注意事项：

• 约 1.5 到 2 倍的加速是卡片自己的说法
• MTP 目前还不支持并行请求和 mmproj 图像输入
• License: Apache 2.0
• Cost to run: 没有列出费用，硬件由你自己准备
• Data it reaches: 你的提示词，以及从 Hugging Face 下载的文件
• Not for: 开启 MTP 时同时处理多个请求或图像输入

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：35.5B
• Weights: about 17.8 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：2,315,167
• 点赞：1,051
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.6-35B-A3B
• Quantized versions: 8
• 标签：transformers, gguf, unsloth, qwen, qwen3_5_moe, image-text-to-text, imatrix, conversational

链接

• 模型：https://huggingface.co/unsloth/Qwen3.6-35B-A3B-MTP-GGUF
• 文件：https://huggingface.co/unsloth/Qwen3.6-35B-A3B-MTP-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/Qwen3.6-35B-A3B-MTP-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。