GLM-5.3-Flash EXL3 4bpw for TensorFold

GLM-5.3-Flash EXL3 4bpw for TensorFold

为 TensorFold 准备的 GLM-5.3-Flash 4 位 EXL3 量化版，在大小相同的情况下 KL 散度低于流行的 TR3-4bpw 量化版。适合在 DGX Spark 机器上部署大模型的人。

由 Mia-AiLab 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Mia's AI Lab 制作的 zai-org/GLM-5.3-Flash 的 4 位 EXL3 版本，为在 TensorFold 上运行而准备。它与一个流行的社区量化版 TR3-4bpw 格式和位宽相同，只有校准是新的。据实验室测量，在大小、速度和内存不变的情况下，它与官方模型的偏差在六个测试集上都更低。

适合谁：适合在自己的硬件上部署 GLM-5.3-Flash，尤其是在两台 DGX Spark 上用 TensorFold，并想要最接近官方 FP8 版本的人。

Industry | Who uses it | How they use it | Example
软件 | 自托管开发者 | 在两台 DGX Spark 上部署大模型 | 为编程助手运行 TensorFold 配方
研究 | 量化研究人员 | 在相同位宽下对比校准方法 | 对照 FP8 参考检查 KL 散度
平台 | 推理工程师 | 测试 100 万 token 窗口的长上下文部署 | 确认长的 needle 提示词能被找到

如果你不用 EXL3 或 TensorFold，或者需要更小的文件，可以跳过，因为它约有 176 GB。

用在哪里：模型卡在 TensorFold v0.6.0 上用针对两台 DGX Spark 的配方做了测试。下载步骤可在装有 Python 的 Windows、macOS 或 Linux 上进行。

• TensorFold，它所服务的部署栈
• 两台 DGX Spark，与测试过的配方一致
• 用于下载步骤的 Windows、macOS 或 Linux

Use case | Who | What they get back
本地运行 GLM | 爱好者和实验室 | 单个请求下每秒 61.8 个 token 的解码速度
长上下文 | 平台团队 | 100 万 token 窗口，KV 池有 2,582,528 个 token
编程和数学 | 开发者 | GSM8K 98.8%，HumanEval 95.7%

如何设置：你需要 Python 和约 176 GB 的空闲磁盘。模型卡指向一个单独的、在 DGX Spark 上用 TensorFold 部署的配方，可见部分没有给出运行命令。

• Python 和 Hugging Face 工具
• 约 176 GB 磁盘空间
• TensorFold 和实验室的部署配方

1. 安装 Hugging Face 下载工具。
2. 把检查点文件下载到大容量硬盘。
3. 按实验室的 TensorFold 配方来部署它们。

pip install -U huggingface_hub
hf download Mia-AiLab/GLM-5.3-Flash-EXL3-4bpw-TensorFold

如何使用：通过 TensorFold 部署之后，像对任何 GLM-5.3-Flash 端点那样发送聊天请求。模型卡报告工具调用可用，数组参数仍保持为 JSON 数组，草稿回复与串行回复一致。

Tool | What it does
hf download | 下载检查点文件
TensorFold | 部署检查点，这里是在两台 DGX Spark 上

示例：你部署好模型并发送一个长的编程请求。模型卡报告单个请求下代码生成约每秒 78.6 个 token，并且在 100 万 token 的测试提示词里找到了 needle。

新手与专家：如果你是新手，这是大模型的压缩副本，面向已经在做本地部署的人。下载前先读实验室的配方，因为文件很大。

如果你熟悉这个领域，路由专家是带 mcg 码本的 4 位 EXL3，与 TR3 只有校准不同。仅专家量化时，相对 FP8 版本的 KL 下降了 11% 到 27%，实际部署时下降 2% 到 18%，因为 TensorFold 自己还加了 4 位稠密权重。

GLM-5.3-Flash 的 BF16 模型
路由专家量化为 4 位 EXL3
新的校准降低 KL 散度
TensorFold 在 DGX Spark 上部署

注意事项：与 TR3 相比，编程和数学分数的差异只有几道题，而且方向有正有负，所以实验室把 KL 视为真正的收益。

• License: Apache 2.0
• Cost to run: 没有提到 API 密钥、账号或付费服务，但你需要能运行 176 GB 模型的硬件
• Data it reaches: 从 Hugging Face 下载的文件，以及你机器上的提示词
• Not for: 小型 GPU 或笔记本，以及测试过的 TensorFold 配方以外的环境

Title: wiki 集上相对 FP8 版本的 KL 散度，越低越好
TR3-4bpw: 0.0990
This quant: 0.0903

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 参数量：87.8B
• Weights: about 176 GB in I16
• Formats: Safetensors
• 最近 30 天下载：4,746
• 点赞：73
• 许可证：apache-2.0
• 基于：zai-org/GLM-5.3-Flash
• Quantized versions: 1
• Fine-tunes: 1
• 标签：safetensors, glm5_next, exl3, tensorfold, quantized, dgx-spark, image-text-to-text, conversational, 4-bit

链接

• 模型：https://huggingface.co/Mia-AiLab/GLM-5.3-Flash-EXL3-4bpw-TensorFold
• 文件：https://huggingface.co/Mia-AiLab/GLM-5.3-Flash-EXL3-4bpw-TensorFold/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Mia-AiLab/GLM-5.3-Flash-EXL3-4bpw-TensorFold

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。