GLM-5.3-Flash Maya GGUF

GLM-5.3-Flash Maya GGUF

GLM-5.3-Flash 的五个 GGUF 压缩版本，GLM-5.3-Flash 是 321B 的混合专家模型，大小从 73.4 GB 到 156.3 GB，为 Project Maya 制作，它把模型分摊到 GPU、内存和固态硬盘上。

由 peasantsmith 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：GLM-5.3-Flash Maya GGUF 是 Z.ai 的 GLM-5.3-Flash 的五个压缩版本。那个模型有 321B 参数，每个词元大约有 18B 参数在工作。文件按 GGUF 打包，供一个叫 Project Maya 的工具使用。

Project Maya 按使用频率给专家排序。最忙的放在 GPU 上，中间一批放在内存里，最少用的等在固态硬盘上。这样一台电脑就能运行比自己内存还大的模型。内存越多速度越快，作者请你在自己的机器上试试。

五个版本都来自 Z.ai 自己的 FP8 发布，而不是来自已经压缩过一次的文件。文件夹里还有视觉文件。

适合谁：它适合想在家里运行巨大开源模型的爱好者和开发者。五个大小从 73.4 GB 到 156.3 GB。

行业 | 谁在用 | 怎么用 | 例子
家庭实验室 | 硬件爱好者 | 在有富余内存和固态硬盘的电脑上运行 321B 模型 | 在台式机上和它聊天
软件 | 开发者 | 用大型本地模型写代码和调用工具 | 一个保持离线的编程助手
研究 | 机器学习工程师 | 把各压缩级别和原始模型对比 | 在一个任务上测试 XS 和 L
游戏主机 | RTX 3090 或 4090 用户 | 运行为 24 GB 显卡调好的版本 | 使用 S24 文件夹

如果你的电脑内存很少，或你想要只靠小 GPU 就能跑的模型，可以跳过它。最小的版本仍然需要约 64 GB 内存加一块 24 GB 的显卡。

用在哪里：

• Project Maya，把专家分摊到 GPU、内存和固态硬盘的运行时
• 带 24 GB 显卡的电脑，用于模型卡为它调好的 S24 版本
• Windows、macOS 或 Linux，仅用 Python 下载文件

用例 | 谁用 | 得到什么
大型本地模型 | 爱好者 | 在家用电脑上运行的 321B 级模型
工具调用和前端代码 | 开发者 | M 版本，模型卡称它为此做过校准
图片输入 | 开发者 | 放在五个版本旁边的视觉文件

如何设置：先准备好下面这些东西。

• Python 和 pip，用于下载命令
• 一台有大内存池和 GPU 的电脑，外加一块快速固态硬盘放溢出的部分
• Project Maya，模型卡称这些文件是为它制作的
• 你所选文件夹的磁盘空间，从 73.4 GB 到 156.3 GB

1. 用 pip 安装 Hugging Face hub 包。
2. 用 hf 命令下载仓库。它会取回全部五个文件夹，合计超过 500 GB，所以只取你需要的那个文件夹。
3. 让 Project Maya 指向你选好的文件夹。

pip install -U huggingface_hub
hf download peasantsmith/GLM-5.3-Flash-Maya-GGUF

如何使用：你选一个内存放得下的版本，在 Project Maya 里加载它。模型卡可见的部分没有运行命令，具体步骤请看项目自己的说明。

版本 | 大小 | 相对完整模型的准确率 | 适合
Maya-XS | 73.4 GB | 92.4% | 64 GB 内存加一块 24 GB 显卡
Maya-S | 96.5 GB | 97.9% | 较小的内存池
Maya-S24 | 94.7 GB | 97.7% | 24 GB 显卡
Maya-M | 116 GB | 97.9% | 较大的内存池
Maya-L | 156.3 GB | 99.2% | 最大的内存池

示例：你的电脑有 64 GB 内存和一块 24 GB 显卡。你只下载 XS 文件夹，在 Project Maya 里加载，然后问一个编程问题。回复比大型服务器上慢。模型卡称 XS 为了小体积牺牲了一些准确率。

新手与专家：新手应该先试一个更小的模型，因为这套方案需要真正的硬件和耐心。如果你的机器放得下，能选 S 或 S24 就别选 XS。

准确率数字是把每个版本和原始 FP8 模型在四项零样本测试上做对比。S24 版本把注意力和共享部分用 4 位，在 GPU 上多腾出约 1.5 GB 给专家。模型卡称这让 24 GB 显卡上的解码最多快 14%。

Title: 模型卡中相对完整 FP8 模型的准确率
Maya-L: 99.2 percent
Maya-M: 97.9 percent
Maya-S: 97.9 percent
Maya-S24: 97.7 percent
Maya-XS: 92.4 percent

选一个内存放得下的版本
下载那一个文件夹
在 Project Maya 里加载
专家分摊到 GPU、内存和固态硬盘

注意事项：

• License: MIT
• Cost to run: 来源没有提到费用，但你需要大量内存、一块 GPU 和一块固态硬盘
• Data it reaches: 它把文件从 Hugging Face 下载到你的机器上
• Not for: 内存很少的机器，或需要与原始质量完全一致的工作，因为即使最接近的版本也低于 100%

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：4.1K
• Weights: about 1 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：1,276,300
• 点赞：109
• 许可证：mit
• 基于：zai-org/GLM-5.3-Flash
• Quantized versions: 2
• Fine-tunes: 1
• 标签：gguf, imatrix, mixture-of-experts, project-maya, vision, text-generation

链接

• 模型：https://huggingface.co/peasantsmith/GLM-5.3-Flash-Maya-GGUF
• 文件：https://huggingface.co/peasantsmith/GLM-5.3-Flash-Maya-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download peasantsmith/GLM-5.3-Flash-Maya-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。