GLM-5.3-Flash-Coder-RCO-152E-GGUF

GLM-5.3-Flash-Coder-RCO-152E-GGUF

在家用电脑上运行裁剪过的 GLM-5.3-Flash 编程和智能体模型，提供五种量化大小的 GGUF 文件。每层保留 288 个专家中的 152 个，把 321B 模型缩小到约 170B。

由 lapadatbogdan 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 GLM-5.3-Flash-Coder-RCO-152E 的 GGUF 文件，它是 zai-org 的 GLM-5.3-Flash 的裁剪版本。每层 288 个专家中保留 152 个，把 321B 的混合专家模型缩小到约 170B，激活 17B。目标是在家里的台式机上做编程和智能体工作。

适合谁：适合有高性能台式机、想要本地编程和智能体模型的开发者，也适合喜欢比较量化等级的爱好者。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在家用电脑上运行大型本地编程模型 | 终端里的编程助手
智能体 | 智能体开发者 | 用本地模型支撑会用工具的智能体 | 能编辑项目的智能体
研究 | 机器学习研究人员 | 研究专家裁剪和量化的取舍 | Q4_K_M 和 Q3_K_M 的对比
爱好 | 发烧友 | 把大模型放进 GPU 加系统内存里 | 一块 24 GB 显卡加 64 GB 内存

如果你没有大显存 GPU 或大量内存，可以跳过它，因为最小的文件也有 47.4 GB。

用在哪里：

• llama.cpp 和其他能加载 GGUF 文件的程序，在 Windows、macOS 或 Linux 上
• GPU 加大量系统内存的家用电脑，或统一内存很大的 Mac
• 多 GPU 机器，用于最大的 Q8_0 文件

Use case | Who | What they get back
编程帮助 | 开发者 | 跨多种编程语言写出的代码
智能体编程 | 智能体开发者 | 在智能体会话上调优、擅长使用工具的模型
大小对比 | 研究人员 | 从 47.4 GB 到 180.4 GB 的五个量化文件

如何设置：

• Python，用来运行 Hugging Face 下载工具
• 为你选择的量化版本准备磁盘空间，从 47.4 GB 到 180.4 GB
• 与之匹配的内存，比如 Q4_K_M 需要 24 GB 显存加 96 GB 内存

1. 用 pip 安装 Hugging Face 的 hub 工具。
2. 用 hf 命令下载整个仓库，或只选一个量化版本。
3. 核对模型卡列出的 SHA256，因为之前有一次上传被截断了。
4. 在 llama.cpp 里加载分卷文件的第一部分。

pip install -U huggingface_hub
hf download lapadatbogdan/GLM-5.3-Flash-Coder-RCO-152E-GGUF

如何使用：在 llama.cpp 里加载适合你内存的量化版本，用于编程和智能体任务。模型卡说 Q3_K_M 和 Q4_K_M 文件合并了一个消除推理循环的微调，所以不再需要旧的 logit-bias 变通办法。

Tool | What it does
Q8_0 | 180.4 GB，分 4 部分，参考量化版本
Q4_K_M | 102.6 GB，分 3 部分，适合 24 GB 显存加 96 GB 内存
Q3_K_M | 75.1 GB，分 2 部分，适合 24 GB 显存加 64 GB 内存
IQ2_XXS | 47.4 GB，1 个文件，适合 24 GB 显存加 32 GB 内存
IQ2_XXS-downIQ2_S | 50.8 GB，分 2 部分，适合 24 GB 显存加 32 GB 内存

示例：你加载 Q4_K_M 文件，问“Write a Python function that merges two sorted lists and add a short test”。模型返回这个函数和一个测试，而合并进去的微调让它不会在推理中陷入循环。

新手与专家：如果内存允许，先用 Q4_K_M 或 Q3_K_M 文件。第一次运行前先核对 SHA256，因为损坏的下载会产生乱码输出。

裁剪时通过在智能体会话、代码、数学和日常文本上测试来决定保留哪些专家，之后再做一轮修复。模型卡用 KL 散度测量与 Q8_0 的偏离，越低越接近。Q4_K_M 有 94.5% 的概率选出与 Q8_0 相同的首选 token，Q3_K_M 是 92.5%。

下载一个量化版本并核对 SHA256
在 llama.cpp 中加载第一部分
输入编程或智能体任务
模型回答，不再陷入推理循环

注意事项：

• License: MIT
• Cost to run: 没有提到费用，但文件很大，需要性能强的电脑
• Data it reaches: 从 Hugging Face 下载文件，之后在你自己的机器上运行
• Not for: 小型机器，因为最小的量化版本就有 47.4 GB
• Limits: 模型卡说之前有一次上传被截断并产生乱码输出，所以请核对校验和

Title: 微调前后，Q3_K_M 在 80 次留出编程运行中的表现
Looping runs before: 11 runs
Looping runs after: 0 runs
Solved before: 46 runs
Solved after: 51 runs

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：170B
• Weights: about 84.8 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：34,478
• 点赞：36
• 许可证：mit
• 基于：zai-org/GLM-5.3-Flash
• 标签：gguf, expert-pruning, code, agentic, llama.cpp, text-generation, conversational

链接

• 模型：https://huggingface.co/lapadatbogdan/GLM-5.3-Flash-Coder-RCO-152E-GGUF
• 文件：https://huggingface.co/lapadatbogdan/GLM-5.3-Flash-Coder-RCO-152E-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download lapadatbogdan/GLM-5.3-Flash-Coder-RCO-152E-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。