Qwen3.6-35B-A3B 2-bit GSQ GGUF

Qwen3.6-35B-A3B 2-bit GSQ GGUF

用 2-bit GSQ 的 GGUF 转换版运行 35B 的 Qwen 模型，另配一个单独的视觉投影器，供 llama.cpp 使用。适合想在 CPU 或普通显卡上用小文件跑大模型的人。

由 chtisgit 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 ISTA-DASLab 的 Qwen3.6-35B-A3B 2-bit GSQ 检查点的 GGUF 转换版，重新打包成了标准的 llama.cpp 类型。这里没有任何新的量化或训练，权重都来自 DASLab 的检查点。文件包括一个文本模型 GGUF 和一个单独的视觉投影器 GGUF，所以模型既能读文字也能读图。

适合谁：如果你想用标准的 llama.cpp，在 CPU 或普通显卡上以一个小文件运行带路由专家的 35B 模型，它很适合你。

Industry | Who uses it | How they use it | Example
本地 AI | 有中端 GPU 的爱好者 | 用一个小的 2-bit 文件运行大模型 | 模型卡测试时把一部分层卸载到了 RTX 3060
软件开发 | 基于 llama.cpp 构建的团队 | 不用自定义运行时就能试用 2-bit GSQ 权重 | 文件能在较新的标准 llama.cpp 构建里加载
研究 | 量化研究者 | 研究 GSQ 2-bit 如何映射到 Q2_0 | 模型卡记录了这个映射和它的小误差

如果你没法运行较新的 llama.cpp 构建，可以跳过它，因为旧版本无法正确加载它。

用在哪里：

• Windows、macOS 或 Linux 上的 llama.cpp
• 仅 CPU 的运行，模型卡测试过，而且不会遇到 CUDA 崩溃
• 使用 b11390 或更新 llama.cpp 构建的 NVIDIA GPU

Use case | Who | What they get back
和大型本地模型聊天 | 本地模型用户 | 一个能装进小文本文件的 35B 模型
询问图像 | 加载了投影器的用户 | 从图片里读出或描述出来的文字
检查一次转换 | 研究者 | 从 GSQ 类型到 llama.cpp 类型的有记录的映射

如何设置：你需要较新的 llama.cpp 构建和两个模型文件。

• 较新的 llama.cpp 构建，因为 Q2_0 是较新的类型，旧版本无法加载
• 在 NVIDIA GPU 上，用 b11390 或更新的构建
• 装有 Hugging Face 工具的 Python，用来下载文件
• 能放下 11.38 GiB 文本文件和小投影器的空间

1. 用 Python 安装 Hugging Face 工具。
2. 用下面的第二条命令下载仓库文件。
3. 把 llama.cpp 更新到较新的构建，在 NVIDIA GPU 上用 b11390 或更新的版本。
4. 把文本模型和投影器文件一起加载。

pip install -U huggingface_hub
hf download chtisgit/Qwen3.6-35B-A3B-2Bit-GSQ-hybrid-GGUF

如何使用：模型卡没有给出运行命令，所以请按 llama.cpp 的文档来加载带视觉投影器的文本模型。聊天时加载文本 GGUF，想让模型读图时再加上投影器 GGUF。

Tool | What it does
Qwen3.6-35B-A3B-GSQ-hybrid.gguf | 文本模型
mmproj-BF16.gguf | 用于图像输入的视觉投影器

示例：你在较新的 llama.cpp 构建里加载两个文件，给模型看一张报纸测试图。模型卡报告说，在 CPU 上和部分卸载到 RTX 3060 的两种运行里，都正确读出了标题 MEN WALK ON MOON。

新手与专家：把它想成被压进小文件里的大模型，外加第二个让它能看图的文件。第一个小尝试是下载这两个文件，在较新的 llama.cpp 构建里加载它们。

路由专家以 Q2_0 存储。注意力层、共享专家和 LM 头以 Q8_0 存储。GSQ 的 2-bit 编码通过反转编码顺序并取负的缩放值映射到 Q2_0。每 128 个权重一组，变成两个 64 的 Q2_0 块，没有反量化再重新量化的步骤。唯一的数值变化是 BF16 缩放值变成 FP16。有一个 MTP 层被省略了。

Q2_0 code = 3 - c
Q2_0 scale = FP16(-s)

取 GSQ 2-bit 检查点
反转编码，把路由专家映射到 Q2_0
把 INT8 权重复制进 Q8_0 块
写出一个文本 GGUF 和一个投影器 GGUF
在较新的 llama.cpp 构建里加载两者

注意事项：模型卡对这两个文件的描述如下。

Title: 两个模型文件
Property | Value
Text model | Qwen3.6-35B-A3B-GSQ-hybrid.gguf
Text-model size | 11.38 GiB
Vision projector | mmproj-BF16.gguf
Projector size | 860.9986 MiB

• Crash on older builds: 旧的 CUDA 构建在某些长度的提示词上会因非法内存访问错误而失败，仅 CPU 的构建不受影响
• Tests: 模型卡做的是加载和短文本生成检查，不是基准测试或困惑度测试
• Left out: 一个用于推测解码的 MTP 层
• Size: 34.7B 参数
• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 除了你下载的文件，没有提到其他
• Not for: 旧版 llama.cpp，它们无法加载或正确运行它

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：llama.cpp
• 参数量：34.7B
• Weights: about 17.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：9,309
• 点赞：18
• 许可证：apache-2.0
• 基于：ISTA-DASLab/Qwen3.6-35B-A3B-2Bit-GSQ
• 标签：llama.cpp, gguf, qwen, quantization, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/chtisgit/Qwen3.6-35B-A3B-2Bit-GSQ-hybrid-GGUF
• 文件：https://huggingface.co/chtisgit/Qwen3.6-35B-A3B-2Bit-GSQ-hybrid-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download chtisgit/Qwen3.6-35B-A3B-2Bit-GSQ-hybrid-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。