DeepSeek-V4.1-Flash-1017-oQ4e-ngram-mtp

DeepSeek-V4.1-Flash-1017-oQ4e-ngram-mtp

DeepSeek-V4.1-Flash-1017 的混合精度 MLX 版本，把 Engram 表保留为 FP8。适合拥有数百 GB 内存、想用 MLX 工具运行该模型的人。

由 mlx-community 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 DeepSeek-V4.1-Flash-1017 的 oQ4e-mtp MLX 检查点的一个变体。这里的 n-gram Engram 表保持原来的 FP8 精度，其余权重与另一个副本相同。基础模型是一个多模态混合专家模型，主干有 552B 参数。完整检查点平均每个权重 5.366 位。

适合谁：如果你有超大内存，想通过 MLX 运行大型多模态模型，并让 Engram 表保持较高精度，它很适合进阶用户和团队。

行业 | 谁在用 | 怎么用 | 例子
AI 基础设施 | 平台工程师 | 在 MLX 硬件上托管超大的开放模型 | 把模型提供给内部工具
研究 | 机器学习研究人员 | 比较保持 FP8 的 Engram 表和 4-bit 的版本 | 检查两个副本之间的差异
软件 | 进阶开发者 | 在本地测试编程和智能体行为 | 用这个模型试一个编程任务
多模态工作 | 应用团队 | 在一个模型里结合文本和图片输入 | 针对一张图片提问

如果你用的是普通笔记本或台式机，可以跳过它，因为存储的张量约占 477 GiB。

用在哪里：

• 基于 MLX 的工具
• 拥有数百 GB 内存的机器，或有快速硬盘用于 Engram 卸载的机器
• Windows、macOS 和 Linux，用 Python 下载文件

用途 | 谁用 | 得到什么
推理和编程 | 开发者 | 完整模型的文字回复
图片和文本输入 | 应用团队 | 用到图片的回答
卸载实验 | 研究人员 | Engram 放在 SSD 上时驻留内存相同

如何设置：

• Python，用来运行下载命令
• 据模型卡，张量约需 476.751 GiB 存储空间
• 能加载这个检查点的 MLX 工具

1. 安装 Hugging Face 工具。
2. 把模型文件下载到空间充足的硬盘。
3. 用你的 MLX 工具加载这个检查点。

pip install -U huggingface_hub
hf download mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-ngram-mtp

如何使用：这里能看到的模型卡部分没有给出运行命令，只说明了怎么量化的。请在支持它的 MLX 工具里加载这个检查点。模型卡说，把 Engram 表卸载到 SSD 时，内存占用与同系列的另一个副本相同。

组件 | 存储
Language backbone | 300.132 GB
Engram tables | 202.758 GB
Vision encoder | 0.971 GB
MTP head | 8.047 GB

示例：你在内存足够的机器上，用 MLX 工具加载这个检查点，并问一个编程问题。模型用文字回答。模型卡没有给出示例运行，所以这只是大致的用法。

新手与专家：这是一个文件很大的巨型模型，面向拥有超大内存的人。如果你是新手，建议先从小模型开始，以后再回来用这个。

如果你熟悉这个领域，Engram 表使用组大小为 32 的 MXFP8，也就是 E4M3 数值，每 32 个通道一个 E8M0 缩放。其他权重与 oQ4e-mtp 副本相同。不含 Engram 表时平均每个权重 4.365 位。

从 oQ4e-mtp 副本出发
Engram 表保持原来的 FP8
其他权重保持不变
保存 MLX 检查点

Title: 各组件的存储，单位 GB
Language backbone: 300.132 GB
Engram tables: 202.758 GB
Vision encoder: 0.971 GB
MTP head: 8.047 GB

注意事项：

• 体积：逻辑权重共 763.205B，张量存储约 476.751 GiB。
• 差异：这里 Engram 表每个权重 8.25 位，而 4-bit 的同系列版本是 5.00 位。
• 来源：DeepSeek-V4.1-Flash-1017 的量化副本。
• License: MIT，沿用源模型的许可。
• Cost to run: 未提及，不过内存需求非常大。
• Data it reaches: 它会从 Hugging Face 下载模型文件，并处理你给它的文本和图片。
• Not for: 普通笔记本或小型台式机。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：mlx
• 参数量：289B
• Weights: about 289 GB in F8_E4M3; about 144 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：3,238
• 点赞：13
• 许可证：mit
• 基于：deepseek-ai/DeepSeek-V4.1-Flash-1017
• 标签：safetensors, deepseek_v41, quantized, image-text-to-text

链接

• 模型：https://huggingface.co/mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-ngram-mtp
• 文件：https://huggingface.co/mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-ngram-mtp/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-ngram-mtp

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。