Qwen3.5-35B-A3B-GGUF

Qwen3.5-35B-A3B-GGUF

在你自己的机器上读取文字和图片、编写代码并调用工具，使用 Unsloth 刷新后的 Qwen3.5 35B-A3B 视觉语言模型 GGUF 文件。适合运行本地智能体的开发者。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Unsloth 提供的 Qwen3.5-35B-A3B 的 GGUF 副本，它是 Qwen 团队的视觉语言模型。记录里列有约 34.7B 参数，名字里的 A3B 指向稀疏混合专家结构，大约 3B 处于激活状态。Qwen3.5 把 Gated Delta Networks 和稀疏专家结合起来，实现快速推理。Unsloth 用新的 imatrix 数据和改进的量化算法重新制作了这些文件。

适合谁：它适合想要本地模型来读图、写代码和调用工具的开发者，也适合已经在用 Claude Code 或 Codex 的团队。

行业 | 使用者 | 用法 | 例子
软件 | 开发者 | 运行用于编码、图像和工具调用的本地助手 | 把它放在 Claude Code 或 Codex 背后使用
研究 | 机器学习研究者 | 对比同一模型的不同量化变体 | 测试 Q4_K_M 与 Q8_0
自托管 | 有大内存机器的团队 | 让提示词留在自己的硬件上 | 在内部运行 4 比特文件

更喜欢托管服务的人可以跳过，因为模型卡指向了阿里云上托管的 Qwen3.5-Flash。

用在哪里：

• llama.cpp 以及其他能读取 GGUF 文件的工具
• Claude Code 和 Codex，模型卡称这两处的工具调用和编码有所改进
• Unsloth 的免费 Colab notebook，用于微调和强化学习
• Windows、macOS 或 Linux，用 Python 就能下载文件

使用场景 | 谁用 | 得到什么
带工具调用的编码 | 开发者 | 来自本地模型的代码和函数调用
关于图片的提问 | 普通用户 | 对一张图片的书面回答
微调或做强化学习 | 研究者 | 一个可用 Unsloth 适配的底座

如何设置：

• 装有 pip 的 Python，用于下载
• 一个能加载 GGUF 文件的运行时
• 约 17.3 GB 的 4 比特所需内存，为估算值

1. 安装 Hugging Face 的 hub 客户端。
2. 下载仓库里的文件，或只下载你想要的变体。
3. 在你的运行时里加载文件，并按 Unsloth 的指南设置合适的参数。

pip install -U huggingface_hub
hf download unsloth/Qwen3.5-35B-A3B-GGUF

如何使用：加载一个量化版本并与它聊天。要关闭思考，请在启动服务器时传入模型卡里的模板选项。

--chat-template-kwargs '{"enable_thinking":false}'

工具 | 作用
--chat-template-kwargs | 向服务器传入模板选项，这里用来关闭思考
Q8_0、Q4_K_M 和 BF16 | 最后一次刷新中上传的变体
Colab notebook | 用 Unsloth 做微调和强化学习的免费 notebook

示例：你关闭思考来启动模型，再让它解释你贴入的一个函数。它会直接回答，前面没有推理阶段。

新手与专家：先加载一个 4 比特文件，问一个普通问题，感受一下，再加入思考或工具。

Qwen3.5 从一开始就同时用文字和图像 token 训练，并把 Gated Delta Networks 与稀疏专家搭配。对这个规格，Unsloth 称最近一次刷新主要降低了最大 KLD，这是衡量量化输出偏离原始输出程度的指标。它还从三个量化版本里去掉了 MXFP4 层。

文字和图片输入
增量网络与稀疏专家的混合结构读取它们
工具调用和代码以文字形式输出
你开启或关闭思考

注意事项：

• 刷新：所有文件都使用新的 imatrix 数据和改进的量化算法
• 体积：记录里列的是 34.7B 参数，4 比特约 17.3 GB，为估算值
• 托管选项：模型卡提到 Qwen3.5-Flash，这是默认 1M 上下文的托管版本
• License: Apache 2.0
• Cost to run: 未提及，托管选项是另一回事
• Data it reaches: 你给它的文字和图片，本地文件未提到网络或账号访问
• Not for: 模型卡中未提及

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 参数量：34.7B
• Weights: about 17.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：314,679
• 点赞：885
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.5-35B-A3B
• Quantized versions: 1
• Fine-tunes: 1
• 标签：gguf, qwen3_5_moe, unsloth, image-text-to-text, imatrix, conversational

链接

• 模型：https://huggingface.co/unsloth/Qwen3.5-35B-A3B-GGUF
• 文件：https://huggingface.co/unsloth/Qwen3.5-35B-A3B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/Qwen3.5-35B-A3B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。