GLM-5.3-Flash-NVFP4

GLM-5.3-Flash-NVFP4

提供 NVIDIA 对 ZAI 的 GLM-5.3-Flash 做的 NVFP4 量化版，这是一个用于推理、编码和智能体任务的多模态模型。适合在 Blackwell GPU 上用 vLLM 或 SGLang 部署的开发者。

由 nvidia 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 NVIDIA 对 GLM-5.3-Flash 做的量化版本，GLM-5.3-Flash 是 ZAI 的语言模型，能读文本、图像和视频，并用文本回答。NVIDIA 用 Model Optimizer 把权重压缩成 NVFP4 格式，让模型更省钱地部署。

基础模型是 Mixture-of-Experts 结构，面向推理、编码和智能体工作。它总共有 320B 参数，每次激活 18B，上下文长度最高 1M。

适合谁：它适合想要现成量化模型来部署的开发者和基础设施团队，不适合想在笔记本上试个小文件的人。

Industry | Who uses it | How they use it | Example
软件 | 智能体开发者 | 在智能体系统后面提供模型服务 | 运行多步编码任务
AI 平台 | 机器学习工程师 | 在 Blackwell GPU 上托管量化模型 | 用 vLLM 处理聊天流量
企业工具 | RAG 构建者 | 用长上下文回答文档问题 | 一次读完一份大报告
聊天产品 | 聊天机器人团队 | 加入一个也能看图的推理模型 | 回答关于截图的问题

如果你没有 NVIDIA Blackwell 硬件或多 GPU 服务器，可以跳过它，因为权重约有 321 GB。

用在哪里：模型卡列出了它适配的运行引擎、硬件和操作系统。

• 以 vLLM 作为运行引擎
• 以 SGLang 作为运行引擎
• NVIDIA Blackwell GPU
• 首选操作系统为 Linux

Use case | Who | What they get back
智能体系统 | 开发者 | 来自推理和工具使用的文本回答
聊天机器人 | 产品团队 | 可接收图像或视频输入的聊天回复
RAG 系统 | 搜索和数据团队 | 基于长文档的回答

如何设置：你需要一台带 NVIDIA Blackwell GPU 的 Linux 机器，足够放下约 321 GB 权重的磁盘，以及用来下载文件的 Python。

• 带 pip 的 Python
• 放 Safetensors 权重的磁盘空间
• vLLM 或 SGLang 作为服务引擎

1. 安装 Hugging Face hub 包。
2. 把仓库下载到你的机器。
3. 在你的 GPU 上用 vLLM 或 SGLang 加载这个文件夹。

pip install -U huggingface_hub
hf download nvidia/GLM-5.3-Flash-NVFP4

如何使用：服务跑起来后，你向它发送文本、图像或视频，读取它返回的文本。模型卡给出了受支持引擎的完整运行步骤，请按你所用的引擎来做。

Input | What goes in
文本 | 字符串提示词
图像 | RGB 图像数据
视频 | MP4 或 WebM 文件

示例：你把一张测试失败的截图发给正在运行的模型，请它解释错误并给出修复建议。它会用文本回答，说明哪里出了问题以及该改什么。

新手与专家：如果你是新手，要知道这是一个面向服务器的大模型。第一步可以先读基础模型页面，并在下载前对照 Blackwell 要求检查你的 GPU。

如果你懂这个领域，它是一个量化的 Mixture-of-Experts 模型，使用稀疏与线性混合注意力。NVIDIA 用一个新闻数据集和自家的一个后训练对话数据集做量化校准，模型卡还列出了评估所用的六项基准。

下载 NVFP4 权重
在 vLLM 或 SGLang 中加载
发送文本、图像或视频
收到文本回答

注意事项：NVIDIA 表示基础模型不是它开发的，而是来自 ZAI。模型卡还建议在部署前用你自己的数据测试。

• License: mit
• Cost to run: 未提及费用，但需要 NVIDIA Blackwell GPU 硬件
• Data it reaches: 你下载的文件，以及你发给模型的内容
• Not for: 没有 Blackwell GPU 的机器，因为模型卡点名的就是这种硬件

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：Model Optimizer
• 参数量：321B
• Weights: about 321 GB in U8
• Formats: Safetensors
• 最近 30 天下载：79,326
• 点赞：186
• 许可证：mit
• 基于：zai-org/GLM-5.3-Flash
• Quantized versions: 6
• Fine-tunes: 1
• 标签：safetensors, glm5_next, nvidia, modelopt, glm-5, quantized, fp4, image-text-to-text, conversational, 8-bit

链接

• 模型：https://huggingface.co/nvidia/GLM-5.3-Flash-NVFP4
• 文件：https://huggingface.co/nvidia/GLM-5.3-Flash-NVFP4/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download nvidia/GLM-5.3-Flash-NVFP4

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。