Qwen3.6-35B-A3B-GGUF

Qwen3.6-35B-A3B-GGUF

用 Unsloth 的 GGUF 文件运行 Qwen3.6-35B-A3B，这是能读图和文字的混合专家模型，每个词元只用约 3B 参数。适合在本地运行大模型的开发者。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3.6-35B-A3B-GGUF 收录了 Qwen3.6-35B-A3B 的 Unsloth GGUF 版本。它是 Qwen 的开放权重模型，接收图像和文字，输出文字。它总共约有 350 亿参数，每个词元约有 30 亿处于激活状态。

Unsloth 的说明加入了对 developer 消息角色的支持，所以模型能在 Codex 和 OpenCode 这类编程工具里工作。说明里还提到，参数是嵌套对象时，工具调用也做得更好。

适合谁：适合想在自己电脑上运行大型混合专家模型的开发者和爱好者，用于编程智能体或关于图片的提问。

Industry | Who uses it | How they use it | Example
软件 | 使用编程智能体的开发者 | 在编程工具背后运行本地模型 | 把它接到 Codex 或 OpenCode
研究 | 比较开放模型的人 | 测试一个已知基础模型的量化版本 | 与其他本地模型对比
爱好 | 有强劲电脑的爱好者 | 和一个也能读图的模型聊天 | 就一张截图提问

如果你的内存很小，可以跳过它，因为按 Hugging Face 的估算，仅 4 位权重就约 17.3 GB。

用在哪里：

• 能打开 GGUF 文件的本地运行器
• Unsloth Studio，卡片展示了 4 位版本在里面使用工具
• Codex 和 OpenCode 这类编程工具，通过 developer 角色
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Use case | Who | What they get back
智能体编程 | 开发者 | 在前端工作和整个仓库的推理上得到帮助
工具调用 | 智能体构建者 | 对嵌套参数处理得更好的工具调用
图片提问 | 普通用户 | 关于你提供的图片的回答

如何设置：

• 用来运行下载命令的 Python 和 pip
• 足够放下约 17.3 GB 4 位文件的内存
• 一个支持 GGUF 的运行器或 Unsloth Studio，再加上运行 Qwen3.6 的 Unsloth 指南

1. 安装 Hugging Face 工具。
2. 从这个仓库下载 GGUF 文件。
3. 在你的运行器里打开它们，并照着 Unsloth 指南操作。

pip install -U huggingface_hub
hf download unsloth/Qwen3.6-35B-A3B-GGUF

如何使用：在运行器里加载文件，然后和模型聊天，或把它接到编程工具上。你可以发文字，也可以发一张图片再配上问题。

Property | Qwen3.6-35B-A3B
总参数 | 35B，每个词元约 3B 激活
层数 | 40 层，按三层线性注意力再加一层全注意力的模式重复
专家 | 共 256 个，每个词元用 8 个路由专家加 1 个共享专家
上下文 | 起初 262,144 词元，可扩展到 1,010,000

Title: 模型大小，单位十亿参数
总参数: 35 十亿
每个词元激活: 3 十亿

示例：你在 Unsloth Studio 里打开 4 位文件并开启工具调用。然后请模型帮你做项目里的一个前端任务，看它边做边调用工具。

新手与专家：如果你刚接触本地模型，先聊几句、问一个图片问题，再把它接进编程工具。大文件需要一点时间下载。

如果你熟悉这个领域，语言模型把门控 DeltaNet 层和门控注意力层混合起来，每一层都以一个混合专家块收尾。卡片还说它用多步预测训练过。

下载 GGUF 文件
在本地运行器或 Unsloth Studio 里打开
发送文字或图片
得到文字，或给编程工具的工具调用

注意事项：

• 一个新选项会保留之前消息里的推理，作者说这对迭代式工作有帮助
• 基础模型文件可配合 Transformers、vLLM、SGLang 和 KTransformers 使用，而这个仓库放的是 GGUF 版本
• Hugging Face 列出了别人做的 6 个量化版本和 1 个微调版本
• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 你下载的文件，以及你给它的文字和图片
• Not for: 小型机器，因为即使是 4 位文件也很大

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：34.7B
• Weights: about 17.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：1,649,871
• 点赞：1,789
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.6-35B-A3B
• Quantized versions: 6
• Fine-tunes: 1
• 标签：transformers, gguf, unsloth, qwen, qwen3_5_moe, image-text-to-text, imatrix, conversational

链接

• 模型：https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF
• 文件：https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/Qwen3.6-35B-A3B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。