Qwen3.5-4B-MTP-GGUF

Qwen3.5-4B-MTP-GGUF

Unsloth 制作的带多 token 预测的 Qwen3.5-4B 的 GGUF 文件，让 llama.cpp 使用推测解码，生成速度约快 1.5 到 2 倍。适合在本地运行小型多模态模型的人。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Unsloth 制作的 Qwen3.5-4B 的 GGUF 文件，其中带有多 token 预测，简称 MTP。用支持 MTP 的 llama.cpp 构建时，模型一次起草多个 token，再一起验证。模型卡称这让生成速度约快 1.5 到 2 倍。记录列出 4.3B 参数，4 位下约 2.2 GB。

适合谁：在自己机器上运行小模型、想要更快文本生成的人，以及把它当作编程工具的本地后端的开发者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 有本地模型的开发者 | 通过 llama-server 提供模型服务 | 让编程工具指向本地服务器
本地 AI | 硬件有限的爱好者 | 更快地运行小模型 | 在一块 GPU 上得到更快的对话回复
智能体 | 使用 Codex 或 OpenCode 的人 | 使用模型卡称现已支持的 developer 角色 | 让编程智能体对接本地模型

如果你用的 llama.cpp 版本不支持 MTP，可以跳过它，因为你得不到加速。

用在哪里：

• 支持 MTP 的 llama.cpp 构建，模型卡称它在 2026 年 5 月 16 日合并
• Unsloth，模型卡称它也可以在本地微调这个模型
• Windows、macOS 或 Linux，可用 CUDA、CPU 或 Metal 构建

用途 | 适合谁 | 得到什么
更快的本地生成 | 运行 llama-server 的人 | 用推测解码生成的文字回复
工具调用 | 智能体开发者 | 对工具调用中嵌套对象的更好处理
编程智能体 | 开发者 | 一个接受 developer 角色的模型

如何设置：你需要用 MTP 支持构建 llama.cpp，并通过它下载模型。模型卡的构建步骤适用于带 CUDA 的 Linux。用 CPU 或 Metal 时把 CUDA 设为 OFF。

• Python 和 pip，用于自己下载文件
• C++ 构建工具链和 CMake
• CUDA 构建需要 GPU，也可以用 CPU 或 Metal

1. 克隆 llama.cpp 仓库。
2. 用下面的命令构建。
3. 用模型和 MTP 设置启动 llama-server。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

如果想自己获取仓库里的文件，Hugging Face 给出这些步骤：

pip install -U huggingface_hub
hf download unsloth/Qwen3.5-4B-MTP-GGUF

如何使用：用这个仓库里的模型和 MTP 起草选项启动 llama-server。模型卡提示，多于一个并行槽位和 mmproj 选项目前还不支持与 MTP 一起使用。

export LLAMA_CACHE="unsloth/Qwen3.5-4B-MTP-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-4B-MTP-GGUF:UD-Q4_K_XL \
    -ngl 99 -c 8192 -fa on -np 1 \
    --spec-type draft-mtp --spec-draft-n-max 6

工具 | 作用
llama-server | 开启推测解码提供模型服务
--spec-type draft-mtp | 打开 MTP 起草
--spec-draft-n-max | 设置草稿一次提议多少个 token
-np 1 | 保持一个并行槽位，MTP 要求如此

示例：你用上面的命令启动服务器，再从你的工具发送一个聊天请求。模型会用文字回复，并使用 MTP 起草。模型卡称它比不用 MTP 时生成得更快，但没有给出这套设置的具体耗时。

新手与专家：如果你是新手，按所示构建 llama.cpp，用这一条命令启动服务器，然后问一个简短的问题。模型卡还链接了 Unsloth 运行 Qwen3.5 的指南。

对专家来说，MTP 是一种推测解码，由模型自带的额外头起草 token，主模型一起检查。模型卡指出，llama.cpp 在 2026 年 5 月 13 日把选项从 mtp 改名为 draft-mtp。代价是加速效果取决于草稿被接受的频率。

输入提示词
MTP 头起草多个 token
主模型一起验证
输出被接受的 token

注意事项：

• Speed: 模型卡称用 MTP 后生成速度约快 1.5 到 2 倍
• Limits: 使用 MTP 时，多于一个的并行槽位和 mmproj 选项目前不受支持
• Quant: 示例命令加载的是 UD-Q4_K_XL 文件
• License: Apache 2.0
• Cost to run: 没有提到 API 密钥或付费服务
• Data it reaches: 从 Hugging Face 下载文件，没有提到其他内容
• Not for: 不支持 MTP 的 llama.cpp 构建，或在 MTP 下同时处理多个并行请求

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：4.3B
• Weights: about 2.2 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：109,500
• 点赞：112
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.5-4B
• Quantized versions: 1
• 标签：transformers, gguf, unsloth, qwen, qwen3_5, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/unsloth/Qwen3.5-4B-MTP-GGUF
• 文件：https://huggingface.co/unsloth/Qwen3.5-4B-MTP-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/Qwen3.5-4B-MTP-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。