GLM-5.3-Flash EXL3 Spark

GLM-5.3-Flash EXL3 Spark

在一台 DGX Spark 上以 256k 词元的上下文和图像输入运行 GLM-5.3-Flash，使用每权重约 2.31 位的混合 EXL3 版本。适合在单台小型机器上托管大模型、看重质量而不是速度的人。

由 0xSero 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是被压缩成混合精度 EXL3 形式的 GLM-5.3-Flash，让一台 NVIDIA DGX Spark 就能容纳 256k 词元的上下文和图像输入。Spark 有 128 GB 统一内存。一部分专家层分到更多位数以保证准确度，其余层位数较少以节省空间。平均约为每权重 2.31 位，文件共占 96.1 GB。

适合谁：适合在一台 DGX Spark 或类似机器上托管大模型、并希望在这么小的文件里得到尽可能高准确度的人。

行业 | 谁在用 | 怎么用 | 例子
软件 | 本地 AI 工程师 | 在一台小型机器上托管长上下文大模型 | 读取长文档的私有助手
研究 | 量化研究者 | 研究把额外的位数花在选定的层上对一致性的影响 | 比较升级的 12 层与基础版本
文档工作 | 分析师 | 在巨大的上下文和附带图片上提问 | 一份报告连同它的图表放进一个提示词
AI 爱好者 | Spark 用户 | 在家运行大模型 | 在单台 DGX Spark 上聊天

如果你需要输出速度快，可以跳过它，因为模型卡称这是质量版本，不是速度版本。

用在哪里：它面向一台 NVIDIA DGX Spark，这台机器有 GB10 芯片和 arm64 处理器，你还需要一个能读取 EXL3 文件的运行时。

• 带 128 GB 统一内存的 DGX Spark
• 一个支持 EXL3 文件的运行时，模型卡的部署部分有说明
• Hugging Face 工具，用来下载 12 个分片

使用场景 | 谁用 | 得到什么
长上下文聊天 | 开发者 | 对最长 262,144 个词元的提示词的回答
图像提问 | 分析师 | 能读入图片的回复，每张约 8,000 个词元
质量测试 | 研究人员 | 在 32 行上测得的与教师模型的一致性

如何设置：你需要一台 DGX Spark 或类似的机器、约 96.1 GB 的磁盘空间，以及一个能读 EXL3 文件的运行时。模型卡里有一个包含它验证过的配置的部署部分。

• 一台 DGX Spark 或统一内存充足的类似机器
• 约 96.1 GB 的磁盘空间放 12 个分片
• 一个能加载 EXL3 文件的运行时

1. 安装 Hugging Face 下载工具。
2. 把 12 个分片下载到你的机器上。
3. 按模型卡部署部分里它验证过的上下文长度和设置来操作。

pip install -U huggingface_hub
hf download 0xSero/GLM-5.3-Flash-EXL3-Spark

如何使用：以最长 262,144 个词元的上下文长度提供服务，然后聊天，或发送长文档和图片。模型卡说它目前不使用推测解码，与可以使用它的 EXL3 版本相比，解码速度大约减半。

工具 | 作用
EXL3 运行时 | 加载并提供量化权重
max_model_len | 设置上下文长度，验证过的是 262,144
Hugging Face 工具 | 下载 12 个分片

示例：发送一个长度相当于约 236,510 个词元的报告的提示词，模型卡在一台 Spark 上完整地处理了它。每张附带的图片约占 8,000 个图像词元，所以要为它们预留上下文。

新手与专家：量化就是用更少的位数存储模型的数字，让它能装进更小的硬件。这个版本给少数选定的层更多的位数，其余层则较少，这种混合多花一点体积，换来更高的准确度。第一个小尝试，是下载它并先跑一段简短的聊天，再测试长提示词。

对熟悉这个领域的人来说，升级的层位于第 3、32、33 以及 36 到 44 位，每层保留全部 288 个专家，用更高的 3.05 位。其余层保持基础版本的 2.05 位，注意力和视觉部分没有改动。模型卡用两种方式推导出 2.31 的平均值，一种按字节，一种按层的权重质量。取舍在于速度和准确度，因为多词元预测暂时还没用上。

从 2.05 bpw 的 GLM-5.3-Flash EXL3 基础版本开始
把 12 个专家层升级到 3.05 bpw
其余 33 层保持 2.05 bpw
在一台 DGX Spark 上以 262,144 个词元提供服务
对照基础版本阅读测得的质量

注意事项：这些数字来自模型卡自己的测量，覆盖 32 行共 65,504 个位置，2.05 bpw 基础版本在同一天重新测过。

• 质量：32 行在 top-1 一致性、KL 和 NLL 上全部改善，没有一行退步。
• 速度：一台 Spark 解码约每秒 10.79 个词元，预填充为每秒 503.5 个。
• 没有推测解码：模型卡把原因归于两个代码上的阻碍，而不是权重的问题。

Title: 与教师模型的 top-1 一致性
2.05 bpw 基础版本: 0.78902
这个版本: 0.80842

Title: 候选困惑度，越低越好
2.05 bpw 基础版本: 4.28692 PPL
这个版本: 4.03563 PPL

• License: MIT，沿用自基础模型。
• Cost to run: 未提及，来源没有列出 API 密钥、账号或付费服务，不过它需要一台约有 96 GB 空间和大内存的机器。
• Data it reaches: 你发给自己服务器的提示词和图片，以及你下载的文件。
• Not for: 快速解码，因为模型卡说这个版本重在质量，目前不使用推测解码。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：48B
• Weights: about 95.9 GB in I16
• Formats: Safetensors
• 最近 30 天下载：399
• 点赞：11
• 许可证：mit
• 语言：en, zh
• 基于：turboderp/GLM-5.3-Flash-exl3
• Quantized versions: 1
• 标签：transformers, safetensors, glm5_next, image-text-to-text, exl3, quantized, dgx-spark, mixed-precision, long-context, text-generation, conversational

链接

• 模型：https://huggingface.co/0xSero/GLM-5.3-Flash-EXL3-Spark
• 文件：https://huggingface.co/0xSero/GLM-5.3-Flash-EXL3-Spark/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download 0xSero/GLM-5.3-Flash-EXL3-Spark

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。