GLM-5.3-Flash-oQ4e-mtp

GLM-5.3-Flash-oQ4e-mtp

zai-org 的 GLM-5.3-Flash 多模态混合专家模型的混合精度 MLX 副本，约每个权重 4.6 位，包含视觉编码器和多词元预测头。

由 Jundot 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是转换成 MLX 并经过压缩的 GLM-5.3-Flash。原模型是能处理文字和图片的混合专家模型，总参数约 320B，每个词元使用 18B。

里面打包了三个部分：文本模型、图像编码器，以及一次预测多个词元的头。

文件用 oMLX 里的混合精度方法 oQ 压缩，平均每个权重 4.641 位。作者说较早的副本用更好的低比特方法重新量化过，所以如果你的是旧版，请重新下载。

适合谁：适合有大内存机器、想通过 MLX 在本地运行超大多模态模型的人，以及研究混合精度量化的人。

Industry | Who uses it | How they use it | Example
研究 | 量化研究者 | 研究基于敏感度的比特分配 | 阅读模型卡的比特分布表
软件 | 本地模型开发者 | 在自己的硬件上运行大型多模态模型 | 能读图和文字的私人助手
爱好者 | MLX 用户 | 在本地试用前沿规模的开源模型 | 在大内存机器上测试它

如果你的机器放权重的内存远小于约 174 GiB，或者你想要小模型，可以跳过它。

用在哪里：它是 MLX 检查点，适用于 Apple 芯片上的 MLX 工具和 Apple 的 MLX 框架，模型卡点名 oMLX 是量化工具。

• Apple 芯片上基于 MLX 的工具
• oMLX，也就是制作量化的工具
• 容得下约 174 GiB 权重的机器

Use case | Who | What they get back
本地多模态聊天 | 爱好者 | 来自巨型模型、针对文字和图片的回复
量化研究 | 研究者 | 一个有文档说明的混合精度布局
推测解码实验 | 开发者 | 包含 MTP 头的检查点

如何设置：你需要 Python 来运行下载工具、一个基于 MLX 的运行工具，以及大量内存。模型卡只给出下载步骤，没有运行命令。

• 带 pip 的 Python
• 兼容 MLX 的运行工具
• 约 174 GiB 空闲磁盘，内存也要相当

1. 用 pip 安装 Hugging Face 的 hub 工具。
2. 用 hf 命令下载仓库文件。
3. 在你的 MLX 运行工具里打开检查点。

pip install -U huggingface_hub
hf download Jundot/GLM-5.3-Flash-oQ4e-mtp

如何使用：在基于 MLX 的工具里加载这个文件夹，像使用其他本地模型一样聊天。模型卡没有运行命令，所以请按你所用工具自己的步骤操作。

Part | Storage format
大部分权重 | Affine 4 位，分组大小 64
敏感层 | Affine 8 位，分组大小 64
部分组件 | BF16
少量参数 | FP32

示例：你在 MLX 运行工具里加载检查点，问它一个关于照片的问题。模型凭语言主干和视觉编码器作答，整个过程只在你的机器上运行。

新手与专家：如果你是新手，要知道这是一个需要大量内存的巨型模型。如果你的电脑配置一般，先从更小的检查点开始。

如果你熟悉这个领域：oQ4e 会把更多比特花在它测得敏感的层上。然后用取自 128 个样本（每个 512 词元）的重要性矩阵对每组取整，最后重新拟合该组的缩放和偏置。

测量层的敏感度
按组分配比特
用重要性矩阵取整
重新拟合缩放和偏置
保存 MLX 检查点

注意事项：几乎所有权重都按 4 位存储，语言主干占了文件的大头。这些大小来自模型卡。

Title: 各组件的存储量，单位为 GB
Language backbone: 180.966 GB
MTP head: 4.309 GB
Vision encoder: 1.127 GB

• License: MIT
• Cost to run: 未提及费用，但权重需要非常大的内存
• Data it reaches: 你下载的文件，以及你在本地给它的提示词和图片
• Not for: 小型机器，因为整个检查点约 186 GB

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：mlx
• 参数量：321B
• Weights: about 1,285 GB in U32
• Formats: Safetensors
• 最近 30 天下载：26,944
• 点赞：7
• 许可证：mit
• 基于：zai-org/GLM-5.3-Flash
• 标签：safetensors, glm5_next, quantized, image-text-to-text, conversational, 4-bit

链接

• 模型：https://huggingface.co/Jundot/GLM-5.3-Flash-oQ4e-mtp
• 文件：https://huggingface.co/Jundot/GLM-5.3-Flash-oQ4e-mtp/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Jundot/GLM-5.3-Flash-oQ4e-mtp

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。