DeepSeek-V4.1-Flash-EXL3-3bpw-2x-RTX-PRO-6000

DeepSeek-V4.1-Flash-EXL3-3bpw-2x-RTX-PRO-6000

在两张 96 GB 的 RTX PRO 6000 Blackwell 显卡上用 vLLM 运行 DeepSeek-V4.1-Flash-1017 的 3 位压缩版，适合在自己硬件上部署大型编程和智能体模型的开发者。

由 diffbot 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 DeepSeek-V4.1-Flash-1017 的 3 位压缩版，属于文本生成模型，参数量为 219B。作者自己校准了 EXL3 3 位的路由专家。vLLM 在一对 RTX PRO 6000 Blackwell 显卡上运行它，约三分之一的专家放在固定的主机内存里。

适合谁：它适合在自己的 GPU 机器上部署大型编程或智能体模型、并希望前面有一个兼容 OpenAI 的 API 的工程师和团队。

行业 | 谁在用 | 怎么用 | 例子
软件开发 | 有两张 96 GB 显卡的工程师 | 为编程智能体提供模型服务 | 用你设置的 API 密钥，让智能体连到 8000 端口
AI 基础设施 | 有 8 卡节点的团队 | 节点的每一半各跑一份，所有专家都留在显存里 | 把请求发到 8000 或 8001 端口
模型研究 | 研究量化的人 | 拿这个压缩包和原始模型做对比 | 查看它的平均 KL 和基准测试表

没有下面列出的显卡、内存和磁盘的人可以略过。

用在哪里：

• 装有 Docker、NVIDIA 容器工具包和两张 Blackwell sm_120 显卡的机器
• 在一对 RTX PRO 6000 显卡上用 vLLM，张量并行度为 2
• 8x RTX PRO 6000 节点，作为各有四块 GPU 的两个副本运行
• 访问 8000 端口上兼容 OpenAI 的 API 的客户端
• 装有 Python 的 Windows、macOS 或 Linux，仅用于获取文件

用途 | 谁用 | 能得到什么
编程智能体后端 | 开发者 | 多轮工具调用任务中的快速回复
长上下文工作 | 开发者 | 1M token 的窗口，配 fp8 KV 缓存
质量检查 | 研究者 | 这个压缩包公布的 KL、GSM8K-200 和 HumanEval 数据

如何设置：
你需要先准备：

• 两块各有 96 GB 的 Blackwell sm_120 GPU
• 主机上的 CUDA 13 驱动
• 装有 NVIDIA 容器工具包的 Docker
• 约 260 GiB 的空闲主机内存
• 340 GB 的磁盘空间

1. 用 pip 安装 Hugging Face 工具。
2. 把仓库下载到本地文件夹。
3. 打开 recipe 文件夹，构建服务镜像。
4. 构建内核，大约需要 4 分钟。
5. 用你自己选的 API 密钥启动服务。

pip install -U huggingface_hub

hf download diffbot/DeepSeek-V4.1-Flash-EXL3-3bpw-2x-RTX-PRO-6000 --local-dir ~/models/DeepSeek-V4.1-Flash-1017-EXL3-3bpw
cd ~/models/DeepSeek-V4.1-Flash-1017-EXL3-3bpw/recipe
bash docker/build.sh                      # serving image dsv41-flash-1017-exl3-3bpw-sm120
bash kernels/build.sh                     # the xmoe, xmoe_do, xmoe_do_i8, fp8ar and rowtopk kernels, about 4 minutes

先在 API_KEY 里填上你自己的值。

带 AVX-512 (VNNI, VBMI, VBMI2) 的 x86_64 CPU，加上很多核心和内存通道，可以让你启用可选的 CPU 运行时。先构建它并运行主机检查，然后打开它。

bash cpuexp/build.sh && bash cpuexp/check_host.sh

先在 API_KEY 里填上你自己的值。

在 8x RTX PRO 6000 节点上，用同样的方式下载整个仓库，包括 drafter-code-k7 文件夹，然后运行下面的命令。

bash docker/build.sh                      # the same image, now with the chunked-indexer patch
bash kernels/build.sh 8x                  # xmoe_p8k, xmoe_do_i8, fp8ar, fp8arg and rowtopk

先在 API_KEY 里填上你自己的值。

如何使用：
serve.sh 启动后，任何客户端都可以访问它在 8000 端口提供的兼容 OpenAI 的 API，并请求名为 deepseek-v4.1-flash 的模型。下面的脚本用来检查正在运行的服务。

python3 bench/needle-test.py 200 && python3 bench/test-toolcall.py && python3 bench/test-image.py

先在 API_KEY 里填上你自己的值。

如果在两张卡上只跑一路、主要是代码，你可以打开针对代码调优的 DSpark 头，把 k 设为 7。

先在 API_KEY 里填上你自己的值。

工具 | 作用
serve/serve.sh | 在两张卡上启动服务，每个设置都写在文件里
serve/serve-8x.sh | 在 8 卡节点上启动两个副本
bench/needle-test.py | 对服务运行大海捞针测试
bench/test-toolcall.py | 运行工具调用测试
bench/test-image.py | 运行图像测试

示例：你用默认命令启动服务，然后带上你的 API 密钥和模型名 deepseek-v4.1-flash，向 8000 端口发一个聊天请求。压缩后模型的回复会通过兼容 OpenAI 的 API 返回。

新手与专家：这是一个体量很大的模型，权重约 437 GB，所以它需要 GPU 服务器，笔记本跑不了。第一个小任务是下载文件，读一读 recipe 的 README，它解释了整套方案。然后逐条运行构建和启动命令。

懂行的人会关心细节。作者用 EXL3 把路由专家量化到 3 位，用的是自己的校准，方法出自 coolbho3k。vLLM 以 2 的张量并行度把模型分到两张卡上。约三分之一的专家留在固定的主机内存里，由定制的 sm_120 内核或需要 AVX-512 的可选 CPU 运行时来处理。8x 配置里每个副本使用 TP4 加 EP4。代价是保真度：在普通文本上，与原始模型的平均 KL 为 0.0522，而噪声下限是 0.0082，同时 GSM8K-200 达到 98.5%，HumanEval 达到 97.0%。

用 hf download 下载仓库
构建 Docker 镜像和内核
用 API 密钥启动 serve.sh
vLLM 把模型分到两张 GPU 上
部分专家放在固定的主机内存里
客户端调用 8000 端口的 API

注意事项：

Title: 智能体回放的输出速度，单路
2x 默认: 224.1 tok/s
2x CPU 运行时: 261.8 tok/s
上一版: 176 tok/s

• 速度：在智能体回放基准上，默认配置的解码速度比上一版 V4.1-Flash 快 28%。
• 上下文：默认配置提供 1M 窗口，fp8 KV 缓存可容纳 1.07M 个 token。
• 硬件：CPU 运行时需要带 AVX-512、核心多、内存通道多的 x86_64 CPU。
• License: mit
• Cost to run: 没有提到付费服务。你自备显卡，并自己设定 API 密钥的值。
• Data it reaches: 它从 Hugging Face 下载文件，服务在你机器的 8000 端口响应请求。
• Not for: 达不到上面列出的显卡、内存和磁盘要求的环境。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：219B
• Weights: about 437 GB in I16
• Formats: Safetensors
• 最近 30 天下载：2,514
• 点赞：42
• 许可证：mit
• 基于：deepseek-ai/DeepSeek-V4.1-Flash-1017
• Quantized versions: 1
• 标签：safetensors, deepseek_v41, exl3, exllamav3, vllm, deepseek, deepseek-v4.1-flash, deepseek-v4.1-flash-1017, mixture-of-experts, 3-bit, rtx-pro-6000, blackwell

链接

• 模型：https://huggingface.co/diffbot/DeepSeek-V4.1-Flash-EXL3-3bpw-2x-RTX-PRO-6000
• 文件：https://huggingface.co/diffbot/DeepSeek-V4.1-Flash-EXL3-3bpw-2x-RTX-PRO-6000/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download diffbot/DeepSeek-V4.1-Flash-EXL3-3bpw-2x-RTX-PRO-6000

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。