Qwen3.6-35B-A3B GGUF (ShapeLearn Quantized)

Qwen3.6-35B-A3B GGUF (ShapeLearn Quantized)

Qwen3.6-35B-A3B 的量化 GGUF 版本，能读图片和文字，有从约 9 GB 起的 CPU 和 GPU 变体，用 ByteShape 的 ShapeLearn 制作。适合运行 llama.cpp 的开发者。

由 byteshape 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是用 ByteShape 的 ShapeLearn 制作的 Qwen3.6-35B-A3B 的 GGUF 版本。这种方法会为每个张量学习最合适的数据类型，所以即使位数很低，质量也能保持住。模型能读文字和图片，文件分为 CPU 和 GPU 两类变体。

适合谁：想在自己硬件上用大型视觉模型，并且愿意根据自己的 GPU 或 CPU 选择大小的开发者。模型卡里有几种桌面 GPU、CPU 和一台 16 GB 树莓派 5 的基准图表。

Title: 谁在用，怎么用
Industry | Who uses it | How they use it | Example
本地 AI | 有游戏显卡的爱好者 | 选一个适合自己显卡的 GPU 变体 | 在中端显卡上运行 13 GB 的 GPU-2 文件
软件 | 开发者 | 通过 llama.cpp 提供视觉模型服务 | 启动 llama-server，发一张图片并提问
边缘计算 | 嵌入式爱好者 | 在小型机器上试 CPU 变体 | 在只有 CPU 的电脑上测试一个 KQ 文件
研究 | 机器学习工程师 | 在不同大小之间对比质量和速度 | 对两种大小使用模型卡的选择规则

如果你用的是 Ollama，可以跳过它，因为模型卡说在发布时 Ollama 不支持这个模型的 GGUF 文件。

用在哪里：

• llama.cpp，使用带内置网页界面的 llama-server
• LM Studio，模型卡建议把它当作替代方案
• Windows、macOS 或 Linux，用于下载文件，需要 Python

Use case | Who | What they get back
图片提问 | 开发者 | 针对你附上的图片的文字回答
文字聊天 | 爱好者 | 本地网页界面里的回复
大小调节 | 工程师 | 大小和速度都适合你硬件的模型

如何设置：你需要 Python 和 pip 来下载仓库，还需要 llama.cpp 来运行。llama.cpp 会在第一次运行时获取模型和视觉投影文件。

• Python 和 pip
• llama.cpp
• 放你所选变体的磁盘空间，最低约 9 GB

1. 从模型卡的 GPU 或 CPU 表格里选一个变体。
2. 复制它的模型标签。
3. 把标签传给 llama-server。

pip install -U huggingface_hub
hf download byteshape/Qwen3.6-35B-A3B-GGUF

Title: GPU 变体
Model ID | Bits per weight | Size
GPU-1 | 2.17 | 9.42 GB
GPU-2 | 3.00 | 13 GB
GPU-3 | 3.48 | 15.1 GB
GPU-4 | 3.93 | 17 GB
GPU-5 | 4.15 | 18 GB

如何使用：用你复制的模型标签运行 llama-server，再加上视觉投影的选项。然后在你自己的机器上打开网页界面。选质量最好、速度又满足你需要的模型，或者在满足质量要求的前提下最快的那个。

llama-server -hf <MODEL_TAG> --mmproj-auto

Tool | What it does
llama-server -hf | 第一次运行时下载模型，并启动本地服务器
--mmproj-auto | 获取视觉投影文件，让图片可用
Model tag | 你从模型卡表格里复制的名称
LM Studio | Ollama 用不了时，模型卡建议的替代运行工具

示例：你用 GPU-3 文件的标签启动 llama-server，打开它的网页，附上一张照片，问里面有什么。模型会用它下载的视觉投影文件，以文字回答。

新手与专家：如果你是新手，有游戏显卡的话选中等大小的 GPU-2 或 GPU-3 文件，没有的话选 CPU 文件。运行服务器命令，再打开它启动的网页。

对熟悉的人来说，模型卡把 CPU 模型标为 KQ，主要是 Q-K 量化，把 GPU 模型标为 IQ，即 KQ 与 IQ 的混合，以获得更好的吞吐量。质量在六个基准上评分，包括函数调用、HumanEval 和 GSM8K，分思考模式和指令模式。

选一个 CPU 或 GPU 变体
复制它的模型标签
用标签运行 llama-server
打开网页界面
聊天或附上图片

注意事项：

Title: GPU 变体的大小，单位 GB
GPU-1: 9.42 GB
GPU-2: 13 GB
GPU-3: 15.1 GB
GPU-4: 17 GB
GPU-5: 18 GB

• License: Apache 2.0
• Cost to run: 没有列出费用，你用的是自己的电脑
• Data it reaches: llama.cpp 首次启动时会从 Hugging Face 拉取权重和视觉文件，之后读取你发送的图片
• Not for: Ollama，模型卡说它暂不支持这些文件
• 模型卡里的 CPU 表格没有在这个页面里显示

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：34.7B
• Weights: about 17.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：5,517
• 点赞：49
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.6-35B-A3B
• 标签：transformers, gguf, qwen3.6, byteshape, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/byteshape/Qwen3.6-35B-A3B-GGUF
• 文件：https://huggingface.co/byteshape/Qwen3.6-35B-A3B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download byteshape/Qwen3.6-35B-A3B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。