Qwen3.5-0.8B-MTP-GGUF

Qwen3.5-0.8B-MTP-GGUF

在 llama.cpp 里运行小型的 Qwen3.5 0.8B 视觉语言模型，借助多 token 预测加快生成，使用 Unsloth 的 GGUF 文件。适合测试推测解码的开发者。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Unsloth 为 Qwen3.5-0.8B 制作的带多 token 预测（MTP）的 GGUF 文件，让 llama.cpp 可以使用推测解码。Qwen3.5-0.8B 是一个小型视觉语言模型，记录里列为 773M 参数。Unsloth 称 MTP 能让生成速度大约快 1.5 到 2 倍。

适合谁：它适合想在微型模型上试验推测解码的开发者，也适合做原型和微调小模型的人。Qwen 团队称这么小的模型适合原型验证、针对特定任务的微调和研究。

行业 | 使用者 | 用法 | 例子
软件 | 开发者 | 在 llama-server 里测试 MTP 推测解码 | 启动模型卡里的服务器命令并发一条提示词
研究 | 机器学习研究者 | 研究一个小型多模态模型 | 对比开启与关闭 MTP 时的生成速度
产品团队 | 做原型的人 | 在一个 4 比特只有约 386 MB 的模型上做功能原型 | 在本地运行一个针对特定任务的原型

需要大模型深度的人，或需要通过 mmproj 输入图片的人可以跳过，因为 MTP 暂时不支持 mmproj。

用在哪里：

• llama.cpp，需要带 MTP 支持的构建
• CUDA GPU 构建，或关闭 CUDA 的 CPU 或 Metal 构建
• Codex 和 OpenCode，因为模型卡为它们加入了 developer 角色支持
• Windows、macOS 或 Linux，用 Python 就能下载文件

使用场景 | 谁用 | 得到什么
更快的本地生成 | 开发者 | 按 Unsloth 的说法，文字生成快约 1.5 到 2 倍
工具调用 | 智能体构建者 | 对工具调用里嵌套对象的解析更好
本地微调 | 研究者 | 一个可用 Unsloth 适配的小底座

如何设置：

• 装有 pip 的 Python，用于下载
• 构建工具和 CMake，GPU 构建还需要 CUDA 工具包
• 带 MTP 的 llama.cpp 构建，模型卡称它已经合并

1. 安装构建工具。
2. 克隆 llama.cpp 仓库。
3. 配置并构建 llama.cpp，再把二进制文件复制到它旁边。
4. 带着 MTP 参数启动 llama-server。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

pip install -U huggingface_hub
hf download unsloth/Qwen3.5-0.8B-MTP-GGUF

如何使用：用模型卡里的命令运行 llama-server，它指定了仓库和 UD-Q4_K_XL 档位。用 CPU 或 Metal 时，把构建里的 CUDA 选项设为 OFF。llama.cpp 把推测类型的名字从 mtp 改成了 draft-mtp，所以请用新名字。

export LLAMA_CACHE="unsloth/Qwen3.5-0.8B-MTP-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-0.8B-MTP-GGUF:UD-Q4_K_XL \
    -ngl 99 -c 8192 -fa on -np 1 \
    --spec-type draft-mtp --spec-draft-n-max 6

工具 | 作用
--spec-type draft-mtp | 开启 MTP 推测解码
--spec-draft-n-max 6 | 把草稿上限设为 6
-np 1 | 只保留一个槽位，因为大于 1 的值暂不支持与 MTP 一起用
--mmproj | 暂不支持与 MTP 一起用

示例：你用上面的命令启动 llama-server，并发一条简短的提示词。模型卡称 MTP 能让生成速度提升大约 1.5 到 2 倍。

新手与专家：这是个微型模型，所以普通硬件也能放下，但设置过程要从源码构建 llama.cpp。构建一次，启动服务器，问一个简短的问题。

Qwen3.5 把 Gated Delta Networks 和稀疏混合专家层结合起来，并且从一开始就用多模态 token 训练。MTP 让模型向前起草若干个 token，再由 llama.cpp 检查。

构建带 MTP 支持的 llama.cpp
用 draft-mtp 启动 llama-server
模型起草若干个 token
草稿被检查并保留
文字生成得更快

注意事项：

• 限制：MTP 暂时不能与多个槽位或 mmproj 同时使用
• 语言：Qwen3.5 系列覆盖 201 种语言和方言
• 体积：773M 参数，4 比特约 386 MB，为估算值
• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 你发给自己服务器的提示词，-hf 参数会从 Hugging Face 仓库取文件
• Not for: 开启 MTP 时用大于 1 的 np 做批处理，或通过 mmproj 输入图片

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：773M
• Weights: about 386 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：14,886
• 点赞：43
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.5-0.8B
• 标签：transformers, gguf, unsloth, qwen, qwen3_5, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/unsloth/Qwen3.5-0.8B-MTP-GGUF
• 文件：https://huggingface.co/unsloth/Qwen3.5-0.8B-MTP-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/Qwen3.5-0.8B-MTP-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。