GLM-5.3-Flash EXL3 3.5bpw

GLM-5.3-Flash EXL3 3.5bpw

GLM-5.3-Flash 的 EXL3 量化版，156 GB，路由专家更窄，比同一实验室的 4 位版本小约 11%。适合在本地 GPU 上运行大模型的人。

由 Mia-AiLab 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Mia's AI Lab 把 zai-org/GLM-5.3-Flash 压缩成了 EXL3 格式，保留了它的文字和图像输入。它是同一实验室 4 位版本的较小兄弟版。只有路由专家被压窄，其他部分保持未量化。检查点大小为 156.3 GB。

适合谁：适合在本地 GPU 上用 exllamav3 运行大模型，并想比 4 位兄弟版再省约 19 GB 的人。

Industry | Who uses it | How they use it | Example
软件 | 本地模型用户 | 把大模型装进更小的 GPU 配置 | 在两个量化文件中选较小的那个
研究 | 量化研究人员 | 研究专家位宽如何影响保真度 | 对比与 BF16 模型的 KL 散度
平台 | 推理工程师 | 测试更小的专家格式用于部署 | 试用 3 位专家路径

如果你需要最高的保真度，可以跳过，因为模型卡说这个版本相比 4 位兄弟版会损失一些准确度。

用在哪里：模型卡是在 RTX PRO 6000 Blackwell GPU 上用 exllamav3 测量的。下载步骤可在装有 Python 的 Windows、macOS 或 Linux 上进行。

• exllamav3，作者用它做测量
• 大显存 GPU，比如测试中用到的 RTX PRO 6000 Blackwell
• 尚未用 TensorFold 部署测试过

Use case | Who | What they get back
本地运行 GLM-5.3-Flash | 爱好者 | 比 4 位兄弟版小 11% 的检查点
保真度研究 | 研究人员 | 相对 BF16 的 KL 和 top-1 一致性数据
混合专家位宽 | 量化人员 | 专家的逐层位宽分配

如何设置：你需要 Python 和大量磁盘空间，因为文件总共约 156 GB。模型卡列出了检查点的各个部分，以及一个给出每个专家张量位宽的配置文件。可见部分没有给出更多设置步骤。

• Python 和 Hugging Face 工具
• 约 156 GB 磁盘空间
• 能读取 EXL3 的运行时，比如 exllamav3

1. 安装 Hugging Face 下载工具。
2. 把仓库文件下载到空间足够的硬盘。
3. 在支持 EXL3 的运行时里加载检查点。

pip install -U huggingface_hub
hf download Mia-AiLab/GLM-5.3-Flash-EXL3-3.5bpw

如何使用：像 4 位兄弟版一样加载，格式和布局相同。它使用随文件附带的 Z.ai 对话模板。速度、内存占用和任务基准分数尚未测量。

Tool | What it does
hf download | 下载检查点文件
exllamav3 | 模型卡用来测量模型的运行时

示例：你加载检查点，并在开启思考的情况下运行一段长编程会话。它的下一个 token 选择与完整 BF16 模型的首选一致的比例是 97.54%，而 4 位兄弟版是 98.06%。

新手与专家：如果你是新手，这是大模型的缩小副本，用一点准确度换取更小的文件。只有已经有这个规模的运行时和 GPU 时才需要下载。

如果你熟悉这个领域，路由专家平均 3.50 位。down 投影处处都是 4 位。在 42 个 MoE 层中的 32 层里，gate 和 up 矩阵改用 3 位。开启思考时相对 BF16 的 KL 约为 4 位兄弟版的 1.6 到 1.7 倍，关闭思考时是 1.19 倍。

GLM-5.3-Flash 的 BF16 权重
路由专家量化为 EXL3
32 层的 gate 和 up 投影为 3 位
其余部分保持未量化
156 GB 的检查点

注意事项：所有数字都是与 BF16 模型比较下一个 token 的表现，目前还不能说明任务分数。在三个小子集里，差异在噪声范围内。

• License: Apache 2.0
• Cost to run: 没有提到 API 密钥、账号或付费服务，但你需要大显存的 GPU
• Data it reaches: 从 Hugging Face 下载的文件，以及你机器上的提示词
• Not for: 需要最佳保真度的用途，或模型卡标为未测试的环境，比如 TensorFold 部署

Title: 检查点大小，单位 GB
4-bit sibling: 175.6 GB
This 3.5 bit quant: 156.3 GB

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 参数量：78.1B
• Weights: about 156 GB in I16
• Formats: Safetensors
• 最近 30 天下载：140
• 点赞：4
• 许可证：apache-2.0
• 基于：zai-org/GLM-5.3-Flash
• 标签：safetensors, glm5_next, exl3, quantized, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/Mia-AiLab/GLM-5.3-Flash-EXL3-3.5bpw
• 文件：https://huggingface.co/Mia-AiLab/GLM-5.3-Flash-EXL3-3.5bpw/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Mia-AiLab/GLM-5.3-Flash-EXL3-3.5bpw

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。