Qwen3.5-4B-GGUF

Qwen3.5-4B-GGUF

Unsloth 制作的 Qwen3.5-4B GGUF 量化版本，一个能读图片和文字并用文字回答的小模型，适合在本地运行模型的人。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3.5-4B-GGUF 是 Qwen3.5-4B 的 GGUF 版本，由 Unsloth 制作。基础模型能读图片和文字，并用文字回复。记录列出的参数量是 4.2B，按它的估算，4 位权重约 2.1 GB。

Qwen3.5 系列是带视觉编码器的因果语言模型。它列出支持 201 种语言和方言，原生上下文长度为 262,144 个词元。

适合谁：它适合想在自己的电脑上运行小型多模态模型、不想把文件发给托管服务的人。约 2.1 GB 的文件可以放进很多普通机器。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在本地运行模型处理文字和图片问题 | 问一张截图里有什么
教育 | 学生 | 用能离线工作的模型练习 | 讲解教材里的一张图表
办公 | 分析师 | 在本地总结文档、读图表 | 用文字描述一张图表图片
研究 | 业余研究者 | 在自己的硬件上试用较新的小模型 | 对比不同语言的回答

如果你想用托管的聊天服务，不自己运行模型，可以跳过它。

用在哪里：

• 能加载 GGUF 文件的本地应用和库
• Windows、macOS 或 Linux，下载步骤需要 Python
• 你自己的电脑，不需要托管服务

用例 | 谁用 | 得到什么
询问图片内容 | 有本地环境的任何人 | 一段关于图片的文字回答
长文档问答 | 研究者 | 基于 262,144 个词元上下文窗口的回答
多语言聊天 | 全球化团队 | 用模型卡列出的 201 种语言中的许多种回复

如何设置：先准备好下面这些东西。

• Python 和 pip，用于下载命令
• 一个能加载 GGUF 文件的本地应用
• 约 2.1 GB 的空闲磁盘空间，放 4 位权重

1. 用 pip 安装 Hugging Face hub 包。
2. 用 hf 命令下载仓库。
3. 在你的本地应用里打开 GGUF 文件，运行细节见模型卡。

pip install -U huggingface_hub
hf download unsloth/Qwen3.5-4B-GGUF

如何使用：文件在本地应用里加载好之后，你可以和它聊天，或者发图片并附上问题。你也可以通过制作这个版本的 Unsloth，在自己的机器上训练自己的变体。

示例：你加载文件，附上一张图表照片，问 "What does this chart show?"。模型用文字回答，描述图片里有什么，以及问题需要什么。

新手与专家：先从小处开始。下载文件，在支持 GGUF 的应用里打开，先问一个普通问题再试图片。运行顺利的话，再加一张图。

Qwen3.5 把 Gated DeltaNet 层和门控注意力层混合在一起，这个模式在 32 层里重复 8 次。模型卡称这是一种让推理保持快速的混合设计。GGUF 版本用一些精度换来小得多的文件。Unsloth 说它的 Dynamic 2.0 量化方法能保持较高的准确率，模型卡给出的原生上下文是 262,144 个词元，可扩展到 1,010,000。

用 hf 下载 GGUF 文件
在本地应用里加载
发送文字或图片
模型用文字回复

注意事项：

• License: Apache 2.0
• Cost to run: 来源没有提到费用，但你需要能放下约 2.1 GB 权重的机器
• Data it reaches: 它把文件从 Hugging Face 下载到你的电脑上

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：4.2B
• Weights: about 2.1 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：1,537,690
• 点赞：557
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.5-4B
• Quantized versions: 10
• Fine-tunes: 2
• 标签：transformers, gguf, unsloth, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/unsloth/Qwen3.5-4B-GGUF
• 文件：https://huggingface.co/unsloth/Qwen3.5-4B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/Qwen3.5-4B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。