DeepSeek-V4.1-Flash-1017 EXL3 EAQ v1 2.9 bpw

DeepSeek-V4.1-Flash-1017 EXL3 EAQ v1 2.9 bpw

DeepSeek-V4.1-Flash-1017 的 2.9 bits-per-weight EXL3 量化版本，能读取文本和图片。它把模型压缩到约 210 GB，供 exllamav3 运行时使用，模型卡还测量了它与原模型的贴近程度。

由 Mia-AiLab 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 deepseek-ai 的 DeepSeek-V4.1-Flash-1017 的 EXL3 格式量化副本，由 Mia-AiLab 用 exllamav3 和一套名为 EAQ 的补丁制作。它平均每个权重 2.9 比特，把 105B 参数的模型压到约 210 GB，分 39 个分片。包含视觉部分，模型卡说它不能直接替换原版检查点。

适合谁：适合有多 GPU 或大内存设备的高级用户，他们想在本地运行 DeepSeek-V4.1-Flash，并且比原版权重小得多。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 为编程和工具调用部署大型本地模型 | 本地智能体后端
研究 | 机器学习研究人员 | 研究低比特量化及其对保真度的影响 | 与另一个 2.9 bpw 版本的对比
AI 基础设施 | 硬件爱好者 | 把大模型放进两台 DGX Spark 或工作站 GPU | 双机部署方案
数据工作 | 分析人员 | 在私有硬件上询问文本和图片 | 关于一张图表图片的提问

如果你想要不需要额外文件、开箱即用的下载，可以跳过它，因为模型卡说你还必须从基础模型取两个分片。

用在哪里：

• 能加载 EXL3 DeepSeek-V4.1 检查点的运行时，基于 exllamav3
• 面向两台 DGX Spark 的 TensorFold DeepSeek-V4.1-Flash-1017 方案，把 MODEL_ID 设为这个仓库
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Use case | Who | What they get back
编程和智能体 | 开发者 | 在智能体和代码样本上，98% 的首选 token 与原模型一致
工具调用 | 智能体开发者 | 工具调用轮次的 top-1 一致率为 97.3%
图片和文本提问 | 分析人员 | 来自视觉部分保持原样的模型的回答

如何设置：

• Python，用来运行 Hugging Face 下载工具
• 这个仓库需要约 210 GB 磁盘
• 基础模型的两个额外下载文件，编号 47 和 48，每个约 95 GiB，存放 Engram 表
• 支持 DeepSeek-V4.1 的 EXL3 运行时

1. 用 pip 安装 Hugging Face 的 hub 工具。
2. 用 hf 命令下载这个仓库。
3. 从基础的 DeepSeek-V4.1-Flash-1017 模型取第 47 和 48 号分片。
4. 在你的 EXL3 运行时里加载检查点。

pip install -U huggingface_hub
hf download Mia-AiLab/DeepSeek-V4.1-Flash-1017-EXL3-EAQ-v1-2.9-bpw

如何使用：在支持 EXL3 DeepSeek-V4.1 模型的运行时里加载检查点。模型卡说不需要任何 EAQ 专用代码，因为格式就是普通的 EXL3。

示例：你加载模型，让它写一个解析日志行的简短 Python 函数。它的回答与原模型相似，在模型卡的测试集上有 96.6% 的时候选出了相同的首选 token。

新手与专家：这是一个高级版本，所以先读模型卡，并确认你的运行时支持 EXL3 格式的 DeepSeek-V4.1。下载之前先规划好额外的 Engram 分片。

路由专家使用 3 比特，第 18 到 22 层使用 2 比特，注意力使用 5 比特，输出头使用 6 比特。多 token 预测和 DSpark 张量使用 4 比特。模型卡以 nats 为单位测量与原模型的 KL 散度，越低越接近，在全部 100 段测试对话上报告为 0.0137。

下载这个仓库
加入 Engram 分片 47 和 48
在 EXL3 运行时中加载
发送文本或图片
返回回答

注意事项：

• License: MIT
• Cost to run: 没有提到费用，但需要很大的磁盘和内存
• Data it reaches: 从 Hugging Face 下载文件，之后在你部署它的地方运行
• Not for: 不带那两个基础模型 Engram 分片的使用
• Limits: 模型卡说各分层的样本量很小，而且 top-1 一致并不能证明回答正确

Title: 与原模型的 top-1 一致率，单位为百分比
All: 96.6 %
Agentic: 98.0 %
Code: 98.2 %
Tool calling: 97.3 %
Multilingual: 95.5 %
Chat: 94.0 %

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：exllamav3
• 参数量：105B
• Weights: about 210 GB in I16
• Formats: Safetensors
• 最近 30 天下载：8,113
• 点赞：46
• 许可证：mit
• 基于：deepseek-ai/DeepSeek-V4.1-Flash-1017
• Quantized versions: 1
• 标签：exllamav3, safetensors, deepseek_v41, exl3, quantized, deepseek, multimodal, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/Mia-AiLab/DeepSeek-V4.1-Flash-1017-EXL3-EAQ-v1-2.9-bpw
• 文件：https://huggingface.co/Mia-AiLab/DeepSeek-V4.1-Flash-1017-EXL3-EAQ-v1-2.9-bpw/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Mia-AiLab/DeepSeek-V4.1-Flash-1017-EXL3-EAQ-v1-2.9-bpw

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。