GLM-5.3-Flash EXL3 3.05bpw

GLM-5.3-Flash EXL3 3.05bpw

在两块 RTX 3090 和 128 GB 内存上本地运行 GLM-5.3-Flash，支持 262,144 词元的上下文，使用经过校验的 3.05 bpw EXL3 量化版本。适合在家里托管大模型的人。

由 albucino 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 GLM-5.3-Flash 文本生成模型的压缩版本，配置成可以在装有两块 24 GB 显卡的家用机器上运行，并保留完整的 262,144 词元上下文。这个仓库包含模型卡、运行时的快照和一份校验和锁定文件。权重不存放在这里。它们原样来自 turboderp 的每权重 3.05 位 EXL3 版本，由运行时拉取并检查。

适合谁：适合想在自己的硬件上而不是托管服务上运行长上下文大模型的人，而且你已经有两块 RTX 3090 和 128 GB 内存。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发智能体的开发者 | 让智能体客户端连接本地兼容 OpenAI 的服务器 | 一个能在一次提示词里读完整个项目的编程智能体
研究 | 长文档分析人员 | 发送很长的输入，并在其中查找深处的事实 | 找出藏在 260K 词元附近的一个事实
注重隐私的团队 | 有 GPU 工作站的小团队 | 让提示词留在自己拥有的机器上 | 不经托管服务起草内部文本
硬件测试 | 本地 AI 设备的搭建者 | 测量两块消费级 GPU 能做到什么 | 比较 131K 与 260K 词元下的首词元时间

如果你没有两块 RTX 3090 和 128 GB 内存，可以跳过它，因为这套配置只在一台这样的机器上验证过。

用在哪里：它运行在装有 Docker 和 NVIDIA Container Toolkit 的 Linux 机器上。任何支持 OpenAI API 格式的客户端都可以连接它启动的本地服务器。

• 装有 Docker 和 NVIDIA Container Toolkit 的 Linux
• 两块 RTX 3090 GPU 和 128 GB 内存
• 能在你自己的机器上调用兼容 OpenAI 的 API 的智能体工具和应用
• Windows、macOS 或 Linux 加 Python，仅用于获取这个仓库的文件

使用场景 | 谁用 | 得到什么
长文档提问 | 研究人员 | 对最长 262,144 个词元的提示词的回答
智能体工作 | 开发者 | 工具调用回合，推理限制在 4,096 个词元，并开启前缀缓存
本地服务 | 爱好者 | 在自己机器上的 API，在模型卡的测试中解码速度为每秒 49.4 个词元

如何设置：先准备好硬件，再获取文件，然后构建并启动运行时。权重很大，所以要给磁盘留足空间。

• Linux、Docker 和 NVIDIA Container Toolkit
• 两块 RTX 3090 和 128 GB 内存
• Python，用于 Hugging Face 下载命令
• 大约 117 GiB 的磁盘空间，存放经过校验的权重

1. 安装 Hugging Face 工具，并获取这个仓库的文件。
2. 从 GitHub 获取 DominikBucko 的运行时项目 glm53-flash-2x3090。
3. 运行它的下载脚本，下载并校验权重。
4. 复制示例环境文件，并在其中设置 MODEL_DIR。
5. 构建镜像，运行预检，然后启动服务器。

pip install -U huggingface_hub
hf download albucino/GLM-5.3-Flash-EXL3-3.05bpw

scripts/download_model.sh /models/glm53-flash-exl3-3.05bpw
cp .env.example .env
make build-image && make preflight && make serve

如何使用：用 make serve 启动服务器。它在本机提供一个兼容 OpenAI 的 API，所以你把客户端或智能体工具指向它，像平时一样发送提示词即可。模型卡描述了两种配置，一种针对长预填充，另一种针对带前缀缓存的智能体工作。

工具 | 作用
scripts/download_model.sh | 下载权重并校验
scripts/install_model.py | 补上缺失的 22 个索引条目，并对照锁定文件检查文件
make build-image | 构建 Docker 镜像
make preflight | 在启动服务前运行预检
make serve | 启动兼容 OpenAI 的 API

示例：在预填充配置下，给服务器发送一个 131,072 词元的提示词，比如一份大文档。模型卡自己的运行中，首个词元在 113.5 秒后出现，之后文本以每秒 49.4 个词元输出。

新手与专家：GLM-5.3-Flash 是一个大语言模型，量化就是用更少的位数存储它的数字，让它能装进家用硬件。这个页面是配方，不是权重。第一个小尝试是运行那两条下载命令，在你决定下载大体积权重之前，先获取这个仓库的文件。

对专家来说，路由专家放在主机内存里，每块 GPU 在显存里为它们保留一个 LRU 缓存，每层最热的 20% 被固定在显存中。对冷专家，GPU 通过 PCIe 取 30%，CPU 线程池计算其余部分，全部在每个解码步骤的一个 CUDA 图里完成。上游 3.05 bpw 分支的索引文件漏掉了 22 个稀疏注意力索引器张量，所以信任索引的加载器会丢失长上下文检索能力。安装脚本补上它们，并对照锁定文件检查全部 29 个文件。取舍是只能单请求服务、没有推测解码，以及相对 BF16 原版损失了一些质量，但没有给出大小。

获取 3.05 bpw EXL3 权重
向索引添加 22 个索引器条目
对照锁定文件检查全部 29 个文件
构建镜像并运行预检
提供兼容 OpenAI 的 API

注意事项：下面的耗时来自模型卡在一台机器上的基准测试，一次一个请求。

Title: 首个词元的秒数
131,072 预填充配置: 113.5 s
260,096 预填充配置: 235.3 s
131,072 智能体配置: 236.2 s
8,192 智能体配置: 9.5 s

• Hardware: 只在一台机器上验证过，配有两块 RTX 3090、一颗 Threadripper PRO 5975WX 和 128 GB DDR4-3200 内存。
• Speed: 解码速度很大程度上取决于 CPU 内存带宽，预填充则取决于 PCIe 带宽。
• Real agent turns: 平均解码速度为每秒 37.7 个词元。
• Cache: 在 15 项智能体任务中，前缀缓存提供了 72.9% 的提示词词元。
• License: GLM-5.3-Flash 和 turboderp 的量化版本是 MIT，运行时是 Apache-2.0。使用前请查看上游条款。
• Cost to run: 未提及，除硬件外没有 API 密钥、账号或付费服务。
• Data it reaches: 它从 Hugging Face 下载权重，并在你自己的机器上提供 API。
• Not for: 同时处理多个请求、推测解码，或没有两块 24 GB GPU 的机器。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 最近 30 天下载：0
• 点赞：2
• 许可证：mit
• 基于：zai-org/GLM-5.3-Flash
• 标签：glm-5.3, exl3, exllamav3, vllm, 256k-context, rtx-3090, dual-gpu, 24gb-vram, 128gb-ram, consumer-gpu, cpu-offload, local-llm

链接

• 模型：https://huggingface.co/albucino/GLM-5.3-Flash-EXL3-3.05bpw
• 文件：https://huggingface.co/albucino/GLM-5.3-Flash-EXL3-3.05bpw/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download albucino/GLM-5.3-Flash-EXL3-3.05bpw

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。