Qwen3.6-35B-A3B-coding-reap50-GGUF

Qwen3.6-35B-A3B-coding-reap50-GGUF

用砍掉一半专家的 Qwen3.6-35B-A3B 写代码，打包成适用于 llama.cpp 的 GGUF 文件。适合想要比完整模型占用更少内存的编程模型的开发者。

由 anik-jha 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个模型取 Qwen3.6-35B-A3B，把每层的专家砍掉一半，从原来的 256 个里保留 128 个。保留哪些专家，由 REAP 在偏重代码的数据上打分决定。剪枝后的模型再用重要性矩阵量化，做成适用于 llama.cpp 的 GGUF 文件。结果约有 19B 参数，并附带一篇题为 Half the Experts, All the Code 的论文。

适合谁：它适合想要一个本地编程模型、而完整的 Qwen3.6-35B-A3B 装不下的开发者。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 用更少的内存运行本地代码助手 | 请它写一个函数并审阅代码
AI 研究 | 剪枝研究者 | 研究混合专家模型的专家剪枝 | 比较剪枝版和完整模型的编程分数
教育 | 编程学生 | 离线用编程模型练习 | 获得一道小编程练习题的帮助
工具 | 工具开发者 | 用本地 llama.cpp 服务器支撑代码编辑器 | 在同样的内存预算下补全代码

如果你想要用于非编程工作的通用助手，可以跳过它，因为模型卡提醒不要这样用。

用在哪里：只要 llama.cpp 能运行的地方它就能运行，支持 Windows、macOS 或 Linux。

• llama.cpp 以及基于它的应用
• 内存足够装下文件大小的机器上的本地编程工作流
• Windows、macOS 或 Linux

Use case | Who | What they get back
代码生成 | 开发者 | 由剪枝模型写出的代码
基准比较 | 研究者 | 可与完整模型低位版本比较的分数
复现剪枝 | 模型构建者 | moep 仓库里的专家选择文件

如何设置：你需要 Python 来用下载工具，还需要一个 llama.cpp 版本。从两个 GGUF 文件里选一个，分别是 11.4 GB 和 13.3 GB。

1. 安装 Hugging Face 的 hub 工具。
2. 下载仓库文件。
3. 让 llama.cpp 指向你选的 GGUF 文件。

pip install -U huggingface_hub
hf download anik-jha/Qwen3.6-35B-A3B-coding-reap50-GGUF

如何使用：在 llama.cpp 或基于它的应用里加载 GGUF 文件，然后给它编程任务。模型卡的测试关闭了推理。

这里展示的模型卡部分没有 llama.cpp 命令，具体调用请用你自己的 llama.cpp 设置。

File | Size | Note
Q4_K_M，带重要性矩阵 | 11.4 GB | 文件较小，分数略低
Q5_K_M，带重要性矩阵 | 13.3 GB | 文件较大，是模型卡表格里分数最好的

示例：你在 llama.cpp 里加载 Q4_K_M 文件，让它写一个小的 Python 函数。它返回代码。模型卡没有展示示例回复，只有这个文件的基准分数。

新手与专家：混合专家模型有很多专门的模块，每个 token 只运行其中几个。剪枝就是去掉其中一半。想试一试，就从较小的文件和一个简单的编程请求开始。

剪枝用了在偏重代码的数据上的 REAP 打分，所以通用知识会受损，而编程能力保住了。模型卡报告通用困惑度大约翻倍。分数来自对 llama.cpp 用 EvalPlus 做的贪心 pass@1，关闭了推理。

从 Qwen3.6-35B-A3B 开始
用 REAP 在代码数据上给专家打分
去掉一半的专家
用重要性矩阵量化
在 llama.cpp 里运行 GGUF 文件

注意事项：模型卡说，在相近的内存预算下，这些文件在 HumanEval+ 上胜过完整模型的 2 位版本。

Title: HumanEval+ 分数，贪心 pass@1
Q5_K_M 剪枝版: 0.915 score
Q4_K_M 剪枝版: 0.902 score
完整模型 IQ2_M: 0.896 score
完整模型 Q8: 0.890 score

• Trade-off: 通用困惑度大约翻倍，所以把它当作写代码的模型，不要放在通用助手的角色里。
• 模型卡里完整模型的那几行只用于对比，这里并不包含。
• Reproduction: 专家选择文件在 moep 仓库里，所以可以从基础模型重新做一遍剪枝。
• License: Apache 2.0，因为它是 Qwen3.6-35B-A3B 的衍生品。
• Cost to run: 未提及。
• Data it reaches: 你给它的提示词和代码，在你自己的机器上处理。
• Not for: 当作通用助手使用。

Hugging Face 上的数据（2026年11月13日）

• 框架：llama.cpp
• 参数量：18.5B
• Weights: about 9.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：3,898
• 点赞：16
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.6-35B-A3B
• 标签：llama.cpp, gguf, mixture-of-experts, pruning, code, imatrix, conversational

链接

• 模型：https://huggingface.co/anik-jha/Qwen3.6-35B-A3B-coding-reap50-GGUF
• 文件：https://huggingface.co/anik-jha/Qwen3.6-35B-A3B-coding-reap50-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download anik-jha/Qwen3.6-35B-A3B-coding-reap50-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。