DeepSeek-V4.1-Flash-1017 EXL3 2.9 bpw

DeepSeek-V4.1-Flash-1017 EXL3 2.9 bpw

以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017，这是一份 196 GiB 的副本，适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。

由 LibertAIDAI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：DeepSeek-V4.1-Flash-1017 的 EXL3 量化版本，每个权重 2.9 位，文件缩小到约 196 GiB。作者报告它的困惑度只比未量化模型略高。它保留了视觉塔和草稿模型，但不含两张 Engram 表。

适合谁：在自己硬件上部署超大模型、需要比原始权重更小的副本的人。也适合想研究模型能压缩到什么程度的人。

Industry | Who uses it | How they use it | Example
AI 基础设施 | 部署大模型的工程师 | 在兼容的部署工具包里加载 EXL3 文件 | 在一个小集群上托管 105B 参数的模型
软件 | 智能体开发者 | 在本地运行会调用工具的编程或聊天智能体 | 在私有硬件上跑智能体编程循环
研究 | 量化研究人员 | 与未量化的基础模型比较困惑度 | 核对代码和文本的困惑度数据
自托管 | 拥有大内存机器的爱好者 | 不依赖托管服务运行大模型 | 在家里使用的私人聊天助手

如果你没有几百 GB 的存储空间，或者想要开箱即用的模型，可以跳过它，因为你得自己补上 Engram 表。

用在哪里：

• 为两台 DGX Sparks 上的 DeepSeek V4.1 Flash EXL3 打造的部署工具包
• 基于 vLLM 的工具包，它们使用自带的 DeepSeek 编码器
• 需要模板文件的运行环境，比如 TensorFold
• Windows、macOS 或 Linux，用来下载文件

Use case | Who | What they get back
在本地部署大模型 | 基础设施工程师 | 量化版 DeepSeek 模型的聊天回复
带工具的智能体循环 | 开发者 | 推理强度可调的智能体回合
量化对比 | 研究人员 | 与未量化模型并列的困惑度数字

如何设置：

• Python，用来安装 Hugging Face 客户端
• 约 211 GB 的空闲磁盘空间，存放 43 个 safetensors 分片
• 来自基础仓库的两个 Engram 表分片，编号 47 和 48
• 一个能加载 EXL3 模型的部署工具包或运行环境

1. 安装 Hugging Face 客户端。
2. 把仓库文件下载到你的电脑。
3. 从基础 DeepSeek 仓库复制 Engram 表分片，因为这里没有包含它们。
4. 用这些文件启动你的部署工具包或运行环境。

pip install -U huggingface_hub
hf download LibertAIDAI/DeepSeek-V4.1-Flash-1017-EXL3-2.9bpw

如何使用：通过你的部署工具包或运行环境和模型聊天。仓库里带有聊天模板文件，供启动时要求模板的运行环境使用。对于会调用工具的智能体，作者调过推理强度设置，所以请从下面选一个级别。

Tool | What it does
chat_template.jinja | 供启动时需要模板的运行环境使用的模板文件
reasoning_effort | 设定模型推理的程度，级别有 low 50、high 75 和 max 100
Engram tables | 取自基础仓库，分片 47 和 48

示例：你运行一个带工具的智能体编程循环，把推理强度保持为默认的 high。作者对原始权重的基准测试发现，质量与 max 相同，成本是 max 的 0.55 到 0.8 倍，low 也同样持平，成本是 0.4 到 0.6 倍。

新手与专家：如果你是新手，请知道这是一个很大的下载，面向专业部署，不是给笔记本用的。第一步是读一遍部署工具包自己的指南，确认你的硬件放得下。

如果你熟悉这个领域：它使用 EXL3 网格格式，带 mul1 码本和输出通道缩放。路由专家是 3 bpw，第 18 到 22 层是 2 bpw，共享专家和注意力是 4 到 5 bpw，输出头是 6 bpw。作者指出每个回合的推理都会被后面的回合重新读取，所以推理成本会累积。

基础模型权重
EXL3 量化
本仓库
补上 Engram 表
部署工具包

注意事项：作者在留出的文本上测量了困惑度。与未量化模型相比，代码上升 1.8%，文本上升 0.4%。

Title: 困惑度，越低越好
Code, this copy: 1.9094 ppl
Code, unquantized: 1.8749 ppl
Prose, this copy: 6.4520 ppl
Prose, unquantized: 6.4277 ppl

• Size: 210.7 GB，43 个 safetensors 分片
• Included: BF16 的视觉塔，以及 MTP 和 DSpark 草稿模型
• Missing: Engram 表，它在这个版本里有改动
• License: MIT
• Cost to run: 未提及
• Data it reaches: 下载到你电脑上的文件，未提及其他
• Not for: 直接运行，因为 Engram 表必须取自基础仓库

Hugging Face 上的数据（2026年11月14日）

• 任务：text generation
• 参数量：105B
• Weights: about 211 GB in I16
• Formats: Safetensors
• 最近 30 天下载：7,382
• 点赞：60
• 许可证：mit
• 基于：deepseek-ai/DeepSeek-V4.1-Flash-1017
• Quantized versions: 3
• Fine-tunes: 3
• 标签：safetensors, deepseek_v41, exl3, exllamav3, deepseek, quantized, text-generation, conversational

链接

• 模型：https://huggingface.co/LibertAIDAI/DeepSeek-V4.1-Flash-1017-EXL3-2.9bpw
• 文件：https://huggingface.co/LibertAIDAI/DeepSeek-V4.1-Flash-1017-EXL3-2.9bpw/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download LibertAIDAI/DeepSeek-V4.1-Flash-1017-EXL3-2.9bpw

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。