DeepSeek V4.1 Flash on two DGX Spark

DeepSeek V4.1 Flash on two DGX Spark

在两台 NVIDIA DGX Spark 电脑上运行 DeepSeek V4.1 Flash，解码和预填充速度约为标准 vLLM 方案的两倍。这是一张不含权重的配方卡，适合在这套硬件上部署智能体的人。

由 Elevatormusic 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库是一张配方卡，说明如何在两台 NVIDIA DGX Spark 电脑上运行 DeepSeek V4.1 Flash。它不含权重。权重在另外两个仓库里，完整配方放在 GitHub 上。作者称，在同一对机器上，速度约为标准 vLLM 方案的两倍。

适合谁：它适合拥有两台 DGX Spark 电脑、想要一个能处理智能体工具调用和超长提示词的本地模型的人。

Title: 谁在用
Industry | Who uses it | How they use it | Example
软件 | 开发智能体的开发者 | 用本地模型运行工具调用和结构化回复 | 强制工具调用和符合模式的回答
研究 | 处理长文档的团队 | 发送最长约 1M 词元的提示词 | 对 1,035,020 词元的提示词做大海捞针测试
IT | 在自己硬件上托管模型的人 | 替换标准 vLLM 工具包 | 在同样两台电脑上获得更高的解码速度

如果你没有两台 DGX Spark 电脑，可以跳过它。

用在哪里：

• 两台 NVIDIA DGX Spark 电脑：测量数据所用的那一对机器
• 作者的 TensorFold 分支：引擎，位于 deepseek-v41-tp2 分支
• 需要强制工具调用或结构化输出的智能体环境
• 装有 Python 的 Windows、macOS 或 Linux：只用来下载卡片里的文件

Title: 它能做的事
Use case | Who | What they get back
智能体工具调用 | 智能体开发者 | 模型被强制发出的工具调用，以及按指定格式给出的回复
长文档问答 | 分析师 | 对同一份文档的第二个问题约 1 s 后开始回答，而不是 13 s
多人同时使用 | 小团队 | 四个请求可以在这两台电脑上并行运行

如何设置：

• 两台 NVIDIA DGX Spark 电脑
• Python，用于下载卡片里的文件
• GitHub 上的配方，它会按确切版本取回两组权重

1. 安装 Hugging Face Hub 工具。
2. 下载这张卡片的文件。
3. 按 GitHub 上的配方操作。它会下载模型权重，即 EXL3 格式 2.9 bpw 的 43 个文件，外加 47 和 48 号两个 Engram 表文件。
4. 使用 1017 版本的 Engram 表，不要用更早的 V4.1 Flash 版本的表。

pip install -U huggingface_hub
hf download Elevatormusic/DeepSeek-V4.1-Flash-1017-2x-DGX-Spark-TensorFold-2x-Faster

如何使用：
配方在两台电脑上启动引擎后，你向它发请求，就像向任何模型服务器发请求一样。卡片点名了智能体常用的两项功能。

Title: 卡片提到的功能
Tool | What it does
tool_choice | 强制调用工具，可以是任意工具（required）或某个指定工具
Structured output | 把回复限定为 JSON schema、正则或固定的一组选项
Prefix cache | 复用长提示词，重复提问启动更快，重启后也一样

hf download Elevatormusic/DeepSeek-V4.1-Flash-1017-2x-DGX-Spark-TensorFold-2x-Faster

示例：
你贴上一份长报告，问“列出这份报告里尚未解决的风险。”然后针对同一份报告再问第二个问题。卡片称，第二个回答约 1 s 后开始，而第一个长提示词等了约 13 s。

新手与专家：
如果你是新手，可以把它看作一套说明，教你让一个超大模型在两台 NVIDIA 电脑上快速运行。第一件小事是看模型页上的速度表，然后运行上面的下载命令。

如果你懂这个领域，权重是 2.9 bpw 的 EXL3，引擎是 TensorFold 的一个分支。卡片给出 32K 词元时预填充 2,165 tok/s，标准方案是 925，散文解码 56.8 tok/s，标准方案是 27.0。代价是 vLLM 的预填充数字可能包含前缀缓存命中，这对 vLLM 有利。

按确切版本取回权重
在两台电脑上启动 TensorFold 引擎
发送提示词、工具调用或模式
前缀缓存加快重复提问

注意事项：

Title: 单个请求的解码速度
Standard setup, prose: 27.0 tok/s
This recipe, prose: 56.8 tok/s
Standard setup, code: 39.9 tok/s
This recipe, code: 92.2 tok/s

• 范围：速度结果只适用于基础配方，不包括卡片所述的可选实验性 BF16 覆盖，它们来自一个未经审查的来源。
• 上下文：最长的大海捞针测试用了 1,035,020 词元并且成功，首个词元前等了 13.6 分钟。
• 并发：最多同时 4 个请求，代码的聚合解码可达 140 tok/s。
• 这个仓库不存放权重。
• License：apache-2.0。
• Cost to run：没有提到 API 密钥或付费服务，但你需要两台 DGX Spark 电脑。
• Data it reaches：它从两个 Hugging Face 仓库下载权重，配方来自 GitHub。
• Not for：更早的 V4.1 Flash Engram 表，卡片说要避开它们。

Hugging Face 上的数据（2026年11月15日）

• 任务：text generation
• 最近 30 天下载：0
• 点赞：9
• 许可证：apache-2.0
• 基于：deepseek-ai/DeepSeek-V4.1-Flash-1017
• 标签：recipe, tensorfold, exl3, exllamav3, deepseek, deepseek_v41, dgx-spark, gb10, tensor-parallel, tool-calling, structured-output, text-generation

链接

• 模型：https://huggingface.co/Elevatormusic/DeepSeek-V4.1-Flash-1017-2x-DGX-Spark-TensorFold-2x-Faster
• 文件：https://huggingface.co/Elevatormusic/DeepSeek-V4.1-Flash-1017-2x-DGX-Spark-TensorFold-2x-Faster/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Elevatormusic/DeepSeek-V4.1-Flash-1017-2x-DGX-Spark-TensorFold-2x-Faster

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。