Qwen3.5-9B-MTP-GGUF

Qwen3.5-9B-MTP-GGUF

Qwen3.5 9B 的 GGUF 版本，支持在 llama.cpp 里用多词元预测做推测解码，生成更快。适合会自己构建 llama.cpp、想在本地运行这个模型的人。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3.5-9B-MTP-GGUF 是 Unsloth 制作的 Qwen3.5-9B GGUF 版本，这是一个有 9.2B 参数的图像和文字模型。它在 llama.cpp 里支持 MTP 推测解码，模型卡说这能让生成速度提高约 1.5 到 2 倍。模型卡还提到支持 developer 角色，并改进了工具调用。

适合谁：在本地用 llama.cpp 运行 Qwen3.5，并愿意为了更快的模式自己构建它的人。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在 Codex 或 OpenCode 这类编程工具背后运行本地模型 | 给编程客户端用的本地接口
研究 | AI 爱好者 | 在 9B 模型上测试推测解码 | 比较开启和不开启 MTP 的速度
教育 | 学生 | 在一块 GPU 上运行当前的开放模型 | 和 Qwen3.5 的本地聊天

如果你无法构建 llama.cpp，或者需要多个并行请求，可以跳过它，因为模型卡说 MTP 下还不支持多个槽位。

用在哪里：

• llama.cpp，用 MTP 分支或带 MTP 的版本构建
• Linux，模型卡的构建命令在这里运行，另有 CPU 和 Metal 的选项
• Codex 和 OpenCode 这类编程客户端，依据模型卡对 developer 角色的说明

Use case | Who | What they get back
更快的本地聊天 | 开发者 | 按模型卡所说，文字生成快约 1.5 到 2 倍
工具调用 | 开发者 | 对工具调用里嵌套对象的解析更好
微调 | 爱好者 | 你也可以用 Unsloth 在本地微调的模型

如何设置：

• 装有构建工具、cmake 和 NVIDIA GPU（用于 CUDA 构建）的 Linux 机器
• 用带 MTP 的版本构建的 llama.cpp
• Python 和 pip，如果你用 hf 命令下载

1. 安装构建工具。
2. 按模型卡所示克隆 llama.cpp 仓库。
3. 打开 CUDA 构建，或为 CPU 和 Metal 关掉它。
4. 带上 MTP 参数启动 llama-server。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

pip install -U huggingface_hub
hf download unsloth/Qwen3.5-9B-MTP-GGUF

如何使用：用仓库和 UD-Q4_K_XL 量化版本，加上 draft MTP 参数启动 llama-server。如果是 CPU 或 Metal，构建时把 CUDA 选项设为 OFF。模型卡说 MTP 下还不支持多个槽位和 mmproj 文件。

export LLAMA_CACHE="unsloth/Qwen3.5-9B-MTP-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-9B-MTP-GGUF:UD-Q4_K_XL \
    -ngl 99 -c 8192 -fa on -np 1 \
    --spec-type draft-mtp --spec-draft-n-max 6

示例：你带着这些参数启动服务并和它聊天。生成比普通解码更快，模型卡给出的数字是约 1.5 到 2 倍。

新手与专家：如果你是新手，构建这一步最难。先看模型卡的指南，并像示例那样把上下文设为 8192。

如果你懂这个领域，MTP 用模型自带的多词元预测头作为推测解码的草稿。模型卡说 llama.cpp 在 2026 年 5 月把参数从 mtp 改名为 draft-mtp，所以要用新名称。基础模型混合使用 Gated Delta Networks 和混合专家层。

构建带 MTP 的 llama.cpp
下载 GGUF 量化文件
用 draft-mtp 启动 llama-server
更快的文字生成

注意事项：

• License: Apache 2.0
• Cost to run: 你自己的硬件，按记录的估算，4-bit 副本约需 4.6 GB
• Data it reaches: 你下载的文件，以及你发给本地服务的提示词
• Not for: 开启 MTP 时的多个并行请求或 mmproj 图像文件

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：9.2B
• Weights: about 4.6 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：105,866
• 点赞：230
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.5-9B
• Quantized versions: 1
• 标签：transformers, gguf, unsloth, qwen, qwen3_5, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/unsloth/Qwen3.5-9B-MTP-GGUF
• 文件：https://huggingface.co/unsloth/Qwen3.5-9B-MTP-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/Qwen3.5-9B-MTP-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。