Qwen3.6-35B-A3B-2Bit-GSQ

Qwen3.6-35B-A3B-2Bit-GSQ

用 GSQ（Gumbel-Softmax 量化）制作的 Qwen3.6-35B-A3B 的 2 位量化副本，用小得多的内存保留大部分推理和编程能力。需配合打过补丁的 vLLM 使用。

由 ISTA-DASLab 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen3.6-35B-A3B 的低比特副本，原模型是混合专家模型，总参数 35B，激活 3B。它用 GSQ 制作，GSQ 是 Gumbel-Softmax Quantization 的缩写。

专家层以 2 位存储，算上缩放因子后约为每个权重 2.13 位。注意力层、共享专家和输出头用 INT8，嵌入和归一化层保持 BF16。作者说缩小后的模型仍能完成基础模型擅长的大部分事情，包括推理、编程和长输入。

适合谁：适合部署大型开源模型、需要降低内存占用的人，以及研究低比特量化的研究者。它需要在 Ampere 或 Hopper GPU 上使用 vLLM。

Industry | Who uses it | How they use it | Example
AI 基础设施 | 推理工程师 | 用更少内存部署 35B 级模型 | 在更少的 GPU 上运行量化副本
研究 | 量化研究者 | 研究 2 位模型相对基础模型的准确度 | 比较模型卡的基准得分
软件 | 自己托管 LLM 的团队 | 在自有硬件上运行推理模型 | 回答编程问题的内部助手

如果你没有 Ampere 或 Hopper GPU，或者想要不需要打补丁的 vLLM 就能运行的模型，可以跳过它。

用在哪里：它通过 vLLM 在带受支持 NVIDIA GPU 的 Linux 上提供服务，模型卡把它列为图文转文字模型。

• vLLM 0.27.1 版本，并用仓库里的脚本打补丁
• Ampere GPU（SM 80 或更高）或 Hopper GPU
• 能安装并给 vLLM 打补丁的 Python 环境

Use case | Who | What they get back
推理和编程聊天 | 开发者 | 通过 vLLM 服务器得到量化模型的回答
内存受限的部署 | 平台团队 | 比基础模型所需更小的部署
基准比较 | 研究者 | 2 位模型与基础模型并列的得分

如何设置：你需要 Python、受支持的 GPU 和 vLLM 0.27.1。仓库里带有一个补丁脚本，必须在与 vLLM 相同的 Python 环境里先运行，才能启动模型。

• 带 pip 的 Python
• vLLM 0.27.1
• Ampere 或 Hopper 的 NVIDIA GPU

1. 用 pip 安装 vLLM 0.27.1。
2. 在存放模型文件的文件夹里，于同一环境中运行附带的补丁脚本。
3. 用 vllm serve 命令启动服务器。

pip install vllm==0.27.1

python patch_vllm.py

vllm serve ISTA-DASLab/Qwen3.6-35B-A3B-2Bit-GSQ --reasonin-parser qwen3

如何使用：打完补丁后，模型卡说用 vllm serve 正常提供服务，然后你向运行中的服务器发送请求。reasoning-parser 参数决定如何读取模型的思考输出。

Tool | What it does
pip install vllm==0.27.1 | 安装检查点所需的 vLLM 版本
patch_vllm.py | 给 vLLM 打补丁，使它能加载并服务这个检查点
vllm serve | 启动模型服务器

示例：你给 vLLM 打补丁、启动服务器，然后请它解一道小学数学题。它通过服务器回复，模型卡给出 2 位副本的 GSM8K 得分是 93.93，基础模型是 96.21。

新手与专家：如果你是新手，要知道这是一个大模型的缩小版。它的设置很繁重，所以在下载任何大文件之前，先读懂模型卡的这三条命令。

如果你熟悉这个领域：路由专家 MLP 使用 2 位对称码本，分组大小 128。流程从 GPTQ 开始，再用 Lion 优化器通过 Gumbel-Softmax 细化。文件采用 Humming 精确位宽布局，所以 Hugging Face 的张量类型小组件显示 I32、I8 和 BF16 容器。

从 Qwen3.6-35B-A3B 出发
GPTQ 初始化
Gumbel-Softmax 细化
把专家打包成 2 位 Humming 布局
用打过补丁的 vLLM 服务

注意事项：模型卡把 2 位副本与基础模型做了比较。大多数测试得分略有下降，AIME 2025 持平。卡里的 serve 命令把一个参数拼成了 reasonin-parser，看起来是 reasoning-parser 的笔误。

Title: 基础模型与 2 位 GSQ 的比较
Benchmark | Base model | 2-bit GSQ
AIME 2025 | 93.33 | 93.33
GPQA Diamond | 83.84 | 80.30
IFEval | 91.25 | 87.77
MMLU-Pro | 84.87 | 81.00
GSM8K | 96.21 | 93.93

• License: Apache 2.0
• Cost to run: 未提及费用，但需要性能足够的 Ampere 或 Hopper GPU
• Data it reaches: 你下载的模型文件，以及你发给自己服务器的提示词
• Not for: 没有 vLLM 补丁或没有 Ampere、Hopper GPU 的环境

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：35.5B
• Weights: about 142 GB in I32
• Formats: Safetensors
• 最近 30 天下载：974
• 点赞：37
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.6-35B-A3B
• Quantized versions: 1
• 标签：transformers, safetensors, qwen3_5_moe, image-text-to-text, gumbel-softmax, quantization, qwen, vllm, humming, conversational, compressed-tensors

链接

• 模型：https://huggingface.co/ISTA-DASLab/Qwen3.6-35B-A3B-2Bit-GSQ
• 文件：https://huggingface.co/ISTA-DASLab/Qwen3.6-35B-A3B-2Bit-GSQ/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ISTA-DASLab/Qwen3.6-35B-A3B-2Bit-GSQ

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。