Qwen3.6-35B-A3B MTP GGUF

Qwen3.6-35B-A3B MTP GGUF

用带多词元预测的 GGUF 量化版本运行 Qwen3.6-35B-A3B，在 llama.cpp 里让 GPU 解码更快。由 ByteShape 制作，适合在显卡上运行本地模型的人。

由 byteshape 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 ByteShape 制作的 Qwen3.6-35B-A3B 的 GGUF 量化版本，用的是它的 ShapeLearn 方法，会为每个张量挑选数据类型，在低比特长度下保持质量。它加入了多词元预测（MTP）：模型每一步起草几个词元，基础模型接受其中匹配的那些。它面向纯 GPU 推理，也能读图。

适合谁：如果你用 llama.cpp 在显卡上本地运行 Qwen3.6-35B-A3B，想要更快的解码，尤其是代码、结构化输出和重复性文本，它很适合你。

Industry | Who uses it | How they use it | Example
软件开发 | 使用本地编程模型的开发者 | 用更快的解码补全代码 | 代码补全从 MTP 中获益最多
数据与自动化 | 生成结构化输出的团队 | 生成可预测的文本，比如结构化记录 | 输出可预测，起草的词元就更容易被接受
本地 AI 爱好者 | 只有一块显卡的玩家 | 选一个适合自己显卡的文件大小 | 列出的选项包括约 10 GB 和 13.6 GB 的文件

如果你想要纯 CPU 推理，可以跳过它，因为这些文件是针对 GPU 调优的。

用在哪里：

• llama.cpp，通过 llama-server 和它的网页界面使用
• Windows、macOS 或 Linux，配合较新的 llama.cpp 构建
• RTX 4090 和 RTX 5090 这类显卡，作者的博客上有它们的基准图表

Use case | Who | What they get back
代码补全 | 开发者 | 更快的解码，因为代码容易预测
结构化输出 | 自动化构建者 | 更快地生成规整、重复的文本
图像提问 | 本地模型用户 | 关于图像的回答，因为模型具备视觉能力

如何设置：你需要一块显卡，以及一个新到能识别 MTP 的 llama.cpp 构建。

• 一块 GPU，因为这些文件针对纯 GPU 使用调优
• 较新的 llama.cpp 构建，因为 draft-mtp 这个值是 2025 年末加入的
• 装有 Hugging Face 工具的 Python，只有想自己下载文件时才需要

1. 用 help 参数运行 llama-server，检查 spec-type 选项下是否列出了 draft-mtp。如果没有，就更新 llama.cpp。
2. 从模型卡的表格里选一个模型，复制它的 Model Tag。
3. 用这个标签和 MTP 参数启动 llama-server。
4. 首次运行时，等 llama.cpp 下载模型和视觉投影器。

llama-server -hf <MODEL_TAG> --mmproj-auto --spec-type draft-mtp --spec-draft-n-max 4

前两种大小的 Model Tag 长这样：

byteshape/Qwen3.6-35B-A3B-MTP-GGUF:Qwen3.6-35B-A3B-IQ2_S-2.25bpw
byteshape/Qwen3.6-35B-A3B-MTP-GGUF:Qwen3.6-35B-A3B-IQ3_S-3.06bpw

如果想用 Hugging Face 工具自己下载文件，用这两行：

pip install -U huggingface_hub
hf download byteshape/Qwen3.6-35B-A3B-MTP-GGUF

如何使用：运行命令，然后打开 llama-server 在你选的端口上提供的网页界面。之后像平常一样聊天或粘贴代码。MTP 头随 GGUF 文件一起提供，这意味着你不用另外下载草稿模型。

Tool | What it does
llama-server | 运行模型并提供网页界面
-hf <MODEL_TAG> | 首次运行时从 Hugging Face 下载选中的模型
--mmproj-auto | 加载视觉投影器，让模型能处理图像
--spec-type draft-mtp | 用内置的头开启 MTP 推测解码
--spec-draft-n-max | 设置每一步起草多少个词元

模型卡建议大多数工作负载向前起草 2 到 4 个词元，并说你应当根据自己的用法扫一遍这个值。

示例：你用列出的最小标签启动 llama-server，打开网页界面，粘贴一个想让它补全的函数。代码容易预测，所以更多起草的词元会被接受，你可能会看到比标准版本更快的解码。

新手与专家：把 MTP 想成模型先猜后面几个词，完整的模型再检查每个猜测。猜对了就省时间。第一个小尝试是用最小的模型标签运行上面的命令。

ShapeLearn 为每个张量学习一种数据类型，这些文件混合了 KQ 和 IQ 量化来提升吞吐。MTP 头捆绑在 GGUF 里，所以 draft-mtp 不需要第二个模型。模型卡在六个基准上衡量质量，包括 BFCL-V3、LiveCodeBench V6、HumanEval 和 GSM8K，分思考和指令两种模式。它的速度数字是有效每秒词元数，其中包含被拒绝的草稿。

基础模型和 MTP 头一起加载
MTP 头向前起草几个词元
基础模型检查每个起草的词元
匹配的词元被一次性接受
解码用更少的步骤完成

注意事项：模型卡按大小和每权重比特数列出模型文件。这里是前两行。

Title: 列出的最小模型文件
Model ID | Bits per weight | Size
GPU-1 | 2.25 | 10 GB
GPU-2 | 3.06 | 13.6 GB

• Workload: 加速效果取决于你的提示词和输出有多容易预测，创意生成的收益较小
• Your own speed: 公布的数字包含被拒绝的草稿，所以你的结果可能更高或更低
• Size: 35.5B 参数，4-bit 约 17.8 GB，这是估算值
• License: Apache 2.0
• Cost to run: 没有提到，但需要一块显卡
• Data it reaches: 首次运行时，llama.cpp 会从 Hugging Face 下载模型和视觉投影器
• Not for: 纯 CPU 推理，因为这些文件是针对 GPU 调优的

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：35.5B
• Weights: about 17.8 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：5,523
• 点赞：93
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.6-35B-A3B
• 标签：transformers, gguf, qwen3.6, byteshape, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/byteshape/Qwen3.6-35B-A3B-MTP-GGUF
• 文件：https://huggingface.co/byteshape/Qwen3.6-35B-A3B-MTP-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download byteshape/Qwen3.6-35B-A3B-MTP-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。