Qwen 3.6 35B-A3B REAP-48 v2 GGUF

Qwen 3.6 35B-A3B REAP-48 v2 GGUF

在 8.78 GiB 的 GGUF 文件里运行经过剪枝和量化的 Qwen3.6-35B-A3B，供 llama.cpp 使用，比第一版更接近未量化的权重。适合内存有限的人。

由 crucible-labs 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Crucible 制作的 Qwen3.6-35B-A3B 的 GGUF 版本。它用 REAP 剪掉 48% 的路由专家，然后用通过逐个张量测量来选定的比特数量化其余部分，而不是凭手工设定。这是第二个版本。它的文件和第一版一样大，都是 8.78 GiB，但在测量上更接近 f16 权重。

适合谁：如果你用 llama.cpp 在内存有限的机器上本地运行大模型，想要一个体积小又贴近原版的文件，它很适合你。

Industry | Who uses it | How they use it | Example
软件开发 | 使用本地编程助手的开发者 | 在 16 GB 的机器上运行代码模型 | 模型卡在 M4 Mac Mini 上测得解码速度为每秒 29.24 个词元
本地 AI 爱好者 | Mac 和 AMD GPU 用户 | 选一个质量损失更小的小文件 | 在同样大小下，v2 文件比 v1 更接近 f16
研究 | 量化研究者 | 研究测量得出的比特分配与手工分配的对比 | 模型卡用 KL 散度比较 v1 和 v2

如果你用的是 CUDA、Vulkan 或纯 CPU 构建，又更看重速度而不是保真度，可以跳过它，因为模型卡没有在那些环境上测过新的量化类型。

用在哪里：

• llama.cpp，配合 GGUF 文件使用
• Windows、macOS 或 Linux
• 带 Metal 的 Apple 芯片，模型卡在 16 GB 的 M4 Mac Mini 上测过速度
• 带 ROCm 的 AMD GPU，模型卡在那里测过准确率

Use case | Who | What they get back
本地编程帮助 | 开发者 | 一个能装进小文件的、有代码能力的模型
工具调用测试 | 智能体构建者 | 一个模型卡在函数调用基准上打过分的模型
按体积比较质量 | 研究者 | 两个版本的 KL 散度测量数字

如何设置：你需要 llama.cpp 和大约 9 GiB 的空闲空间来放这个文件。

• 适合你平台的 llama.cpp 构建
• 装有 Hugging Face 工具的 Python，用来下载文件
• 内存足够放下 8.78 GiB 模型的机器，比如模型卡用的 16 GB Mac

1. 用 Python 安装 Hugging Face 工具。
2. 用下面的第二条命令下载仓库文件。
3. 让 llama.cpp 指向 GGUF 文件。
4. 如果你在 CUDA、Vulkan 或 CPU 上很在意速度，从 v1 切换之前先做基准测试。

pip install -U huggingface_hub
hf download crucible-labs/Qwen3.6-35B-A3B-REAP-48-v2-GGUF

如何使用：模型卡没有给出运行命令。在 llama.cpp 里加载 GGUF，像对任何聊天模型一样给它提示词。模型卡用 llama-bench 测量预填充和解码速度。

Tool | What it does
llama.cpp | 加载 GGUF 文件并运行模型
llama-bench | 测量预填充和解码速度，模型卡的测试就是这样做的
hf download | 取回仓库文件

示例：你在 16 GB 的 Mac Mini 上加载 GGUF，开始输入提示词。在那台机器上，模型卡测得 v2 的解码速度为每秒 29.24 个词元，第一版是 26.71。

新手与专家：把它想成一个被修剪和压缩、能放进小电脑的大模型，损失是经过测量的。第一个小尝试是加载文件，像平常一样和它聊天。

有两步最关键。校准现在通过模型自己的聊天模板进行，而 v1 用的是被压平的文本。然后按测量结果重新分配比特，因为共享专家按每个参数算比路由专家敏感得多。v2 还加入了 i-quant，其中有 IQ3_S 和 IQ4_XS，而 v1 只用 k-quant。生成词元的速度受内存带宽限制。每个词元都要完整读取稠密路径，却只碰到 133 个专家中的 8 个，所以削减稠密路径上的比特最能节省每个词元的时间。

用 REAP 剪掉 48% 的路由专家
用模型自己的聊天模板做校准
测量每个张量的敏感程度
按张量和层分配比特数
写出一个 8.78 GiB 的 GGUF 文件

注意事项：模型卡把 v2 和 v1 相对于 f16 权重做了比较，文件大小相同。

Title: 与 f16 的接近程度，v1 对比 v2
Metric | v1 | v2 | Change
平均 KL 散度 | 0.034093 | 0.019609 | 低 42.5%
中位 KL 散度 | 0.002489 | 0.001186 | 低 52.4%
第 99 百分位 KL 散度 | 0.536331 | 0.327945 | 低 38.9%
相对 f16 的额外困惑度 | 0.037205 | 0.022679 | 低 39.0%
与 f16 的 Top-1 一致率 | 94.678% | 96.199% | 高 1.52 个百分点

Title: M4 Mac Mini、16 GB、Metal 上的速度
Test | v1 | v2
预填充，每秒词元数 | 411.29 | 417.18
解码，每秒词元数 | 26.71 | 29.24

Title: v2 在模型卡自有测试环境里的准确率
HumanEval+: 90.9 %
MBPP+: 75.7 %
BFCL-simple: 93.2 %

• Untested backends: 模型卡没有在 CUDA、Vulkan 或纯 CPU 构建上测过 i-quant 的速度，所以如果速度重要，请先做基准测试
• Accuracy runs: 温度为 0，每道题一次尝试，在 ROCm 上测量，并且有意没有与 v1 比较
• Size: 19.2B 参数，4-bit 约 9.6 GB，这是估算值
• Language: 英文
• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 你下载的文件和你在本地运行的提示词
• Not for: 非英语的工作，因为模型卡只列出英文

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：llama.cpp
• 参数量：19.2B
• Weights: about 9.6 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：2,427
• 点赞：34
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen3.6-35B-A3B
• 标签：llama.cpp, gguf, pruning, reap, quantized, coding, tool-calling, text-generation, model-index, imatrix, conversational

链接

• 模型：https://huggingface.co/crucible-labs/Qwen3.6-35B-A3B-REAP-48-v2-GGUF
• 文件：https://huggingface.co/crucible-labs/Qwen3.6-35B-A3B-REAP-48-v2-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download crucible-labs/Qwen3.6-35B-A3B-REAP-48-v2-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。