DeepSeek-V4.1-Flash-1017-EXL3-franken-v100

DeepSeek-V4.1-Flash-1017-EXL3-franken-v100

在八块 Tesla V100 32 GB 显卡上，以完整的 100 万词元上下文运行 DeepSeek V4.1 Flash，用的是 EXL3 专家包和 SM70 版 vLLM。适合拥有这类服务器的人。

由 philbert440 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 DeepSeek-V4.1-Flash-1017 的 EXL3 专家包，按通过 NVLink 相连的八块 Tesla V100-SXM2-32GB 显卡来设计。移植到 SM70 的 1Cat-vLLM 引擎用模型完整的 1,048,576 词元窗口运行它，并使用 DSpark 推测解码。路由专家平均约每个权重 2.8 比特。

适合谁：适合拥有八卡 V100 服务器，并想在上面运行长上下文 DeepSeek V4.1 Flash 的人。熟悉安装自定义 vLLM 版本的人更合适。

行业 | 谁在用 | 怎么用 | 例子
自托管 AI | 八卡 V100 服务器的拥有者 | 以 100 万词元上下文运行大模型 | 对本地服务器发起聊天和编程请求
智能体编程 | 使用这套硬件的开发者 | 用模型做长时间的编程会话 | 作者称单流会话的解码平均约 80 tok/s
视觉工作流 | 在请求里带图像的团队 | 把图像作为聊天请求的一部分传入 | 说明页称工具结果里的一张截图在 1.2 秒内被读出

没有这类硬件的人，或想要一键安装的人，可以跳过。

用在哪里：

• 一台带八块 Tesla V100-SXM2-32GB 显卡的服务器，总共 256 GB 显存。
• 作者的 SM70 版 vLLM，带有一个名为 serve_ds41.sh 的启动脚本。
• OpenAI 风格的聊天请求，包括 image_url 内容部分。
• Windows、macOS 或 Linux：只有文件下载能在那里用 Python 完成。

使用场景 | 谁用 | 得到什么
长上下文聊天 | 拥有该服务器的开发者 | 来自 1,048,576 词元上下文窗口的回复
编程会话 | 拥有该服务器的开发者 | 说明页的测试里，单流下代码提示词解码约 64.9 tok/s
图像提问 | 拥有该服务器的开发者 | 从图像中读回文字，每个提示词最多 64 张图像

如何设置：

先准备好：

• 八块带 NVLink 的 Tesla V100-SXM2-32GB 显卡。
• Python 和 pip，用来获取文件。
• 作者的 SM70 版 vLLM，说明页称它带有预编译的 wheel。

1. 用 pip 安装 Hugging Face hub 包。
2. 用 hf 命令下载这个专家包。
3. 安装作者的 SM70 版 vLLM。
4. 用该版本 v100 文件夹里的启动脚本 serve_ds41.sh 启动服务器。

pip install -U huggingface_hub
hf download philbert440/DeepSeek-V4.1-Flash-1017-EXL3-franken-v100

如何使用：

服务器运行后，你向它发送 OpenAI 风格的聊天请求。要带图像，就加上 image_url 内容部分，每个提示词最多 64 张图像，工具结果里也可以。每张图像最多占提示词的 1,024 个词元。每项引擎新增功能都在一个 VLLM_DS41_ 开关后面。

Title: 说明页提到的搭建部件
工具 | 作用
serve_ds41.sh | 作者引擎版本里正在使用的启动脚本
VLLM_DS41_ 开关 | 控制每项引擎新增功能，比如更快的预填充内核
image_url 部分 | 在请求中携带图像，每个提示词最多 64 张
DSpark | 推测解码，在一条和两条流上用 k=5 测试

示例：

你向自己的服务器发送一个编程提示词，并把一张报错截图作为 image_url 部分附上。这张图像最多算 1,024 个提示词元。说明页对单流代码提示词的测试里，解码速度约为 64.9 tok/s。

新手与专家：

这是一套进阶方案，不是下载即用的模型。它是一个大模型的压缩副本，加上为一种特定八卡服务器准备的服务软件。一个好的第一步是用那两条命令取回文件，再读一遍说明页里的配方，确认你的显卡相符。

没有重新量化。这个包混合了从两个公开 EXL3 包里逐个挑选的专家。这样选择，让每块 32 GB 显卡上也有空间放草稿模型和长上下文缓存。稠密层、注意力、Engram 和 MTP 张量保留官方的 FP8、BF16 和 MXFP4 权重。针对草稿模型隐藏状态抽头在 fp16 下溢出的修复，去掉了每次聊天开头出现的全零草稿。

取回专家包和 SM70 版 vLLM
在八块 V100 上用 serve_ds41.sh 启动
用 DSpark 推测解码
返回回复，图像以 image_url 部分传入

注意事项：这些速度是说明页自己给出的单流解码数字。

Title: 单流解码速度，DSpark k=5
代码: 64.9 tok/s
结构化 JSON: 65.9 tok/s
聊天: 35.0 tok/s
散文: 34.5 tok/s

• 质量检查：说明页报告与 fp32 参考相比 KL 为 0.0358，在 3,134 个位置上 top-1 一致率为 95.79 %。
• 上下文：1,048,576 词元，KV 池为 1,055,580 词元。
• 长上下文速度：8K 时解码约 51 tok/s，128K 时为 52.6 tok/s。
• License: mit
• Cost to run: 没有提到 API 密钥、账号或付费服务，但需要八块 V100 32 GB 显卡。
• Data it reaches: 你从 Hugging Face 下载的文件，以及你发给自己服务器的提示词和图像。
• Not for: 其他 GPU 配置，因为这个包是按八块 V100 32 GB 显卡来设计的。

Hugging Face 上的数据（2026年11月13日）

• 框架：vllm
• Formats: Safetensors
• 最近 30 天下载：313
• 点赞：7
• 许可证：mit
• 基于：deepseek-ai/DeepSeek-V4.1-Flash-1017
• 标签：vllm, safetensors, deepseek_v41, exl3, exllamav3, quantized, deepseek, v100, sm70, 1cat-vllm, speculative-decoding, vision

链接

• 模型：https://huggingface.co/philbert440/DeepSeek-V4.1-Flash-1017-EXL3-franken-v100
• 文件：https://huggingface.co/philbert440/DeepSeek-V4.1-Flash-1017-EXL3-franken-v100/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download philbert440/DeepSeek-V4.1-Flash-1017-EXL3-franken-v100

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。