Qwen3.5-4B GGUF

Qwen3.5-4B GGUF

Qwen3.5-4B 的 imatrix GGUF 量化版本，这是一个带 MTP 层的 4.3B 图文模型，4 位文件约 3 GB。适合在本地运行小模型的人。

由 bartowski 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Qwen 的 Qwen3.5-4B 的 GGUF 量化版本，这是一个约 4.3B 参数、在 Hugging Face 上被标记为图像加文本到文本的模型。有第三方用 llama.cpp 和重要性矩阵制作了这些文件，所以模型可以在本地工具里运行。模型卡还加入了 MTP 层。

适合谁：它适合想在笔记本或配置一般的台式机上用一个被标记为多模态的小模型、并能按内存挑选文件的人。4 位文件约 3 GB。

行业 | 谁在用 | 怎么用 | 例子
本地 AI | 爱好者 | 离线和小模型聊天 | 在笔记本上试 Q4_K_M
软件 | 开发者 | 在轻量的本地模型上测试提示词 | 检查一条系统提示词
教育 | 学生 | 了解量化如何用质量换体积 | 比较 Q8_0 和 Q4_K_M
速度测试 | 工程师 | 在 llama.cpp 里试用 MTP 草稿 | 比较加与不加该参数的速度

如果你需要在难题上给出强有力的答案，可以跳过这么小的模型。如果你想发送图像，请先确认你的应用支持它的图像输入，因为模型卡只给出了文本格式。

用在哪里：模型卡说你可以在多种工具里运行这些文件。新近才支持的模型可能要先等应用开发者发布更新。

• llama.cpp 和 ramalama
• LM Studio、koboldcpp 和 Jan AI
• Text Generation Web UI 和 LoLLMs
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

场景 | 适合谁 | 得到什么
本地聊天 | 爱好者 | 你自己电脑上小模型给出的回复
提示词测试 | 开发者 | 轻量模型的快速回答
MTP 草稿 | 工程师 | 一套可以在 llama.cpp 里测速的推测解码配置

如何设置：你需要能加载 GGUF 文件的应用，以及放得下所选大小的内存。这里的每个文件都不大，所以内存很少成为限制。下载其中一个文件，而不是整个仓库。

• 上面列出的某一个应用
• 一个适合你内存的文件，模型卡的默认大小是 Q4_K_M
• Python，仅用于 Hugging Face 下载命令

1. 从表里选一个文件。
2. 从仓库下载它。
3. 加载它，并使用下面的提示格式。

Title: 模型卡里的部分文件
量化类型 | 大小 | 用途
bf16 | 8.67 GB | 完整权重
Q8_0 | 4.62 GB | 质量最高，多数人用不到这么高
Q6_K | 3.81 GB | 近乎完美的质量，推荐
Q5_K_M | 3.44 GB | 高质量，推荐
Q4_K_M | 3.01 GB | 质量良好，模型卡的默认选择
IQ4_XS | 2.67 GB | 在更小的文件里保持不错的质量

pip install -U huggingface_hub
hf download bartowski/Qwen_Qwen3.5-4B-GGUF

如何使用：把每次对话包进下面的格式里。助手回合以一个 think 标签开始，所以模型会先推理再回答。

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
<think>

模型卡说 MTP 层从 llama.cpp 的 b9180 版本起可以使用。要用它们，请在启动程序时加上这个参数。

--spec-type draft-mtp

示例：你在 LM Studio 里加载 Q4_K_M 文件，设置一条简短的系统提示词，请它给出一份两天行程的计划。模型会先写它的 think 块，然后在聊天窗口里写出这份计划。

新手与专家：量化文件用更粗的方式存储模型的数字来节省空间。先从 Q4_K_M 和一条简短的提示词开始，需要时再试更大或更小的文件。

对行家来说，这些量化使用了重要性矩阵，用 llama.cpp 的 b9222 版本构建。Q6_K_L、Q5_K_L、Q4_K_L 和 Q3_K_XL 把嵌入和输出权重保持在 Q8_0。Q4_0 和 IQ4_NL 为 CPU 推理提供在线重新打包。

原始模型被转换成 GGUF
重要性矩阵指导量化
写出从 bf16 往下的多种大小
你下载一个适合你内存的文件
你在应用里加载它并发送提示词

注意事项：Q3 文件可以使用，但质量较低，适合内存少的机器。Hugging Face 估计 4 位权重接近 2.2 GB，而模型卡里的 Q4_K_M 文件是 3.01 GB。

Title: 各量化类型的文件大小
bf16: 8.67 GB
Q8_0: 4.62 GB
Q6_K: 3.81 GB
Q5_K_M: 3.44 GB
Q4_K_M: 3.01 GB
IQ4_XS: 2.67 GB

• License: Apache 2.0，按 Hugging Face 所列
• Cost to run: 未提及
• Data it reaches: 你的提示词（在本地运行），以及你下载的文件
• Not for: 需要大模型的高难度推理任务，因为这个模型只有约 4.3B 参数

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 参数量：4.3B
• Weights: about 2.2 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：137,218
• 点赞：85
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.5-4B
• 标签：gguf, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/bartowski/Qwen_Qwen3.5-4B-GGUF
• 文件：https://huggingface.co/bartowski/Qwen_Qwen3.5-4B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download bartowski/Qwen_Qwen3.5-4B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。