DeepSeek-V4.1-Flash-1017-NVFP4

DeepSeek-V4.1-Flash-1017-NVFP4

NVIDIA 制作的 DeepSeek AI 的 DeepSeek-V4.1-Flash-1017 的 NVFP4 量化版本，一个面向 NVIDIA Blackwell GPU 的超大多模态混合专家模型。

由 nvidia 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：NVIDIA 用 Model Optimizer 工具把 DeepSeek AI 的 DeepSeek-V4.1-Flash-1017 的权重压缩成了 NVFP4。这个仓库放的就是结果。基础模型是混合专家模型，接收文字和图片，输出文字。它支持最长 1M 个词元的上下文。

NVIDIA 说原始模型不是它开发的，而是 DeepSeek AI 开发的。文件集很大，约 665 GB。

适合谁：它适合有高端 GPU 硬件、想要预量化模型来做智能体系统、聊天机器人或检索增强生成的团队。模型卡点名了 NVIDIA Blackwell GPU 和 Linux。

行业 | 谁在用 | 怎么用 | 例子
AI 平台 | 基础设施团队 | 在 Blackwell GPU 上提供超大模型服务 | 托管一个内部助手
软件 | 应用开发者 | 在预量化模型上构建智能体系统 | 处理支持工单的工具调用智能体
搜索和知识库 | RAG 团队 | 用 1M 上下文回答长文档问题 | 针对一大批报告提问
研究 | 机器学习工程师 | 研究 NVFP4 量化在大模型上的表现 | 与原始权重做对比

如果你没有 Blackwell 级别的 GPU，也没有几百 GB 的存储空间，可以跳过它。

用在哪里：

• vLLM，需要包含模型卡所述 Engram 改动的版本
• SGLang
• Linux 上的 NVIDIA Blackwell GPU
• Windows、macOS 或 Linux，仅用 Python 下载文件

用例 | 谁用 | 得到什么
智能体系统 | 开发者 | 一个读文字和图片、写文字的模型
聊天机器人 | 产品团队 | 有长上下文窗口支撑的回复
RAG 系统 | 知识库团队 | 基于检索到文档的回答

如何设置：先准备好下面这些东西。

• Python 和 pip，用于下载命令
• 带 MXFP4 Engram 支持的 vLLM 版本，或 SGLang
• Linux 上的 NVIDIA Blackwell GPU
• 记录显示约需 665 GB 磁盘空间

1. 用 pip 安装 Hugging Face hub 包。
2. 用 hf 命令下载仓库。
3. 用模型卡列出的运行时提供服务。标准的 vLLM 镜像无法加载 Engram 表，所以请用带有所需改动的版本。

pip install -U huggingface_hub
hf download nvidia/DeepSeek-V4.1-Flash-1017-NVFP4

如何使用：服务器运行起来之后，你通过它的接口发送文字或图片，读取它写回的文字。在这里能看到的部分，模型卡没有运行命令。NVIDIA 还说，上线前需要用你自己的数据测试部署。

示例：你在 Blackwell 机器上提供模型服务，发给它一张图表的图片，并附上一个相关问题。模型用文字回复。即使输入是图片，输出也始终是文字。

新手与专家：这是个超大模型，所以大多数人应该先通过托管服务试用原始模型。只有你有这样的硬件，才下载这个。

模型的主干共有 552B 参数，预填充阶段激活 8B，解码阶段激活 16B，另有 196B 的 Engram 条件记忆。NVIDIA 用 0.48.0rc0 版本的 Model Optimizer 把它量化为 NVFP4。校准用了 cnn_dailymail 和一个 Nemotron 后训练数据集。Engram 表以 MXFP4 存储。

用 hf 下载文件
用 vLLM 版本或 SGLang 提供服务
发送文字或图片
模型写回文字

注意事项：

• License: MIT
• Cost to run: 来源没有提到费用，但需要 Blackwell GPU 和约 665 GB 存储
• Data it reaches: 它把文件从 Hugging Face 下载到你的机器上
• Not for: 标准的 vLLM 镜像，它们无法加载这个检查点

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：Model Optimizer
• 参数量：665B
• Weights: about 665 GB in U8
• Formats: Safetensors
• 最近 30 天下载：13,127
• 点赞：188
• 许可证：mit
• 基于：deepseek-ai/DeepSeek-V4.1-Flash-1017
• 标签：safetensors, deepseek_v41, nvidia, modelopt, deepseekv4, quantized, fp4, image-text-to-text, 8-bit, fp8

链接

• 模型：https://huggingface.co/nvidia/DeepSeek-V4.1-Flash-1017-NVFP4
• 文件：https://huggingface.co/nvidia/DeepSeek-V4.1-Flash-1017-NVFP4/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download nvidia/DeepSeek-V4.1-Flash-1017-NVFP4

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。