DeepSeek-V4.1-Flash-1017-exl3

DeepSeek-V4.1-Flash-1017-exl3

在 ExLlamaV3 里以每权重 1.68、2.25 或 2.68 比特运行压缩后的 DeepSeek-V4.1-Flash-1017。适合在自己的硬件上运行大模型、想少占内存的人。

由 turboderp 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：DeepSeek-V4.1-Flash-1017-exl3 收录了 DeepSeek-V4.1-Flash-1017 模型的 EXL3 格式压缩副本。每个副本用更少的比特存储权重，所以模型需要的内存更少。模型卡列出三种大小，分别是每权重 1.68、2.25 和 2.68 比特。

适合谁：在自己的硬件上用 ExLlamaV3 运行大语言模型、想要这个 DeepSeek 模型更小副本的人。

Industry | Who uses it | How they use it | Example
软件 | 本地模型用户 | 用更少的内存运行 DeepSeek 模型 | 选每权重 1.68 比特的副本来省空间
AI 基础设施 | 工程师 | 用 ExLlamaV3 自己托管这个模型 | 提供每权重 2.25 比特副本的服务
研究 | 量化研究人员 | 在基准分数上比较三种大小 | 查看每个副本的 AIME-25 和 GPQA-D 结果

如果你不用 ExLlamaV3，可以跳过它，因为模型卡没有提到其他运行环境。

用在哪里：

• ExLlamaV3 1.6.6 版本，或它的 dev 分支
• 你自己的电脑，在 Windows、macOS 或 Linux 上用 Python 下载

Use case | Who | What they get back
数学题 | 学生和研究人员 | 来自模型卡用 AIME-25 评分的模型的回答
科学问题 | 研究人员 | 来自模型卡用 GPQA-D 评分的模型的回答
内存有限的环境 | 本地模型用户 | 基础模型的一个更小副本

如何设置：

• 带 pip 的 Python
• ExLlamaV3 1.6.6 版本，或它的 dev 分支
• 足够容纳你所选副本的内存，因为模型卡只给出每权重比特数，没有给出文件大小

1. 安装 Hugging Face hub 工具。
2. 下载模型文件。
3. 在 ExLlamaV3 里加载它们，并从三种大小中选一种。

pip install -U huggingface_hub
hf download turboderp/DeepSeek-V4.1-Flash-1017-exl3

如何使用：在 ExLlamaV3 里加载你选的副本，然后像使用原版 DeepSeek 模型那样输入提示词。模型卡没有给出命令，所以请按 ExLlamaV3 自己的步骤加载 EXL3 模型。

示例：你在 ExLlamaV3 里加载每权重 2.25 比特的副本，然后给它一道竞赛数学题，因为模型卡用 AIME-25 给这个副本评了分。这只是示意用法，因为模型卡没有展示示例回复。

新手与专家：如果你是新手，量化版就是模型缩小后的副本。每权重的比特数越少，内存越省，模型卡里的分数显示了每种大小保留了多少。先从每权重 2.68 比特的副本开始，它是三种里比特最多的。

如果你是专家，模型卡把它们称为 SC 量化版，并用两张图绘出了 KL 散度和困惑度对显存的关系。它说之后还会有更多量化版和更多基准测试。AIME-25 上固定的基线分数是假定的，因为作者没有找到出处。

DeepSeek-V4.1-Flash-1017 基础模型
EXL3 把它的权重压缩到更少的比特
你选 1.68、2.25 或 2.68 的大小
ExLlamaV3 加载它用于聊天

注意事项：模型卡在 AIME-25 和 GPQA-D 上给每个副本评分。1.68 的副本在 AIME-25 上得 96.7%，另外两个得 100%。在 GPQA-D 上，各副本的分数在 89.9% 到 90.4% 之间。GPQA-D 的基线分数 90.2% 来自 OpenRouter，AIME-25 的基线 100% 是假定的。

Title: 各大小的 GPQA-D 分数
每权重 1.68 比特: 90.4%
每权重 2.25 比特: 90.4%
每权重 2.68 比特: 89.9%
基线: 90.2%

如果你在短提示词上看到乱码输出，模型卡说这很可能只是模型本身的一种故障模式。

• License: MIT，与 Hugging Face 记录一致。
• Cost to run: 没有提到 API 密钥或账号。模型卡没有给出硬件需求。
• Data it reaches: 下载会访问 Hugging Face。模型卡没有说明模型会访问文件或网络。
• Not for: 更老的 ExLlamaV3 版本，因为模型卡说它需要 1.6.6 版本或 dev 分支。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 最近 30 天下载：581
• 点赞：30
• 许可证：mit
• 基于：deepseek-ai/DeepSeek-V4.1-Flash-1017
• 标签：exl3, image-text-to-text

链接

• 模型：https://huggingface.co/turboderp/DeepSeek-V4.1-Flash-1017-exl3
• 文件：https://huggingface.co/turboderp/DeepSeek-V4.1-Flash-1017-exl3/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download turboderp/DeepSeek-V4.1-Flash-1017-exl3

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。