DeepSeek-V4.1-Flash-1017-TrellisMX-FLARE

DeepSeek-V4.1-Flash-1017-TrellisMX-FLARE

用压缩的 TrellisMX 包，在两台 NVIDIA DGX Spark 上提供带兼容 OpenAI API 的 DeepSeek V4.1 Flash 服务。适合在自己的 Spark 硬件上运行大模型的团队。

由 JMNI-Labs 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个 Flare 包，用张量并行把压缩后的 DeepSeek V4.1 Flash 检查点分成两部分，在两台 NVIDIA DGX Spark 上提供服务。它保留了官方模型的注意力、共享专家、MTP、视觉和分词器。路由专家使用 TrellisMX 流，Engram 表以 4 位存储。

适合谁：它适合拥有两台 DGX Spark、想在自己网络里运行这个模型的基础设施团队和实验室。

行业 | 谁在用 | 怎么用 | 例子
AI 基础设施 | 平台工程师 | 用 Flare 在两台 Spark 机器上部署大模型 | 私有硬件上的内部聊天接口
研究 | 推理研究者 | 测试 TrellisMX 压缩和 MTP 草稿 | 对比有无 MTP 草稿词元时的速度
软件 | 开发者 | 从现有工具里调用兼容 OpenAI 的 API | 把聊天客户端指向第一台 Spark
企业 IT | 重视安全的团队 | 让提示词留在自己的硬件上 | 不用外部 API 的私有助手

如果你没有两台 DGX Spark，可以跳过它，因为这个包只为那种配置制作。

用在哪里：

• 两台 NVIDIA DGX Spark，每台带一块 GB10 芯片，运行基于 Ubuntu 24.04 的 DGX OS
• 两台之间的高速互联，带 ConnectX-7 RoCE
• 你网络里任何兼容 OpenAI 的客户端
• Windows、macOS 或 Linux，用 Python 下载文件

使用场景 | 适合谁 | 能得到什么
私有聊天服务 | 平台团队 | 带 16 个请求位的兼容 OpenAI 的接口
长上下文 | 开发者 | 每个请求最长 1,048,576 个词元，受 KV 内存限制
更快的解码 | 研究者 | 带最多五个已验证草稿词元的 MTP 草稿

如何设置：这是一个要求很高的配置。你需要两台机器和一个特别的 Flare 构建，而不是普通发布版。

• 两台 DGX Spark，NVIDIA 驱动正常
• 两台主机上都要有来自 ds41-trellismx 引擎分支的 Flare 构建，因为普通的 flare-inference 发布版加载不了这个包
• 两台主机上都要有固定版本的 vendor 覆盖文件夹
• 第一台 Spark 上约 259 GiB 空闲空间，对端还要留出另一半的空间
• 开放 TCP 端口：两台主机之间 29900，第一台 Spark 上 29800，客户端用 8000

1. 用 pip 安装 Hugging Face 客户端，并用 hf 命令下载这个仓库。
2. 在两台机器上构建或安装来自引擎分支的 Flare 版本。
3. 在第一台 Spark 上用 flare 下载这个包并启动 rank 0。
4. 在第二台 Spark 上启动 rank 1，并加入第一台 Spark 的会合端口。
5. 接受模型许可证，然后向第一台 Spark 的 8000 端口发送请求。

pip install -U huggingface_hub
hf download JMNI-Labs/DeepSeek-V4.1-Flash-1017-TrellisMX-FLARE

package=$(flare download JMNI-Labs/DeepSeek-V4.1-Flash-1017-TrellisMX-FLARE --revision gb10-tp2)

如何使用：在第一台 Spark 上，你用 rank 0、一个会合端口、磁盘存储的嵌入表、5 个草稿词元、16 个并发请求、8000 端口和模型名 DeepSeek-V4.1-Flash 来运行 flare。卡片还列出了以 dangerously 开头的发布者参数。在第二台 Spark 上，你按这里所示用 rank 1 和第一台 Spark 的会合地址运行 flare。

# second Spark
flare run --rank 1 --rendezvous FIRST_SPARK:29800 \
  --embedding-table-storage disk --embedding-table-cache-size 1GiB \
  --mtp-draft-tokens 5 --max-concurrency 16

工具 | 作用
flare download | 下载所选修订版的包
flare run --rank 0 | 启动前一半和 API 服务器
flare run --rank 1 | 启动后一半并加入第一台
--mtp-draft-tokens | 设置 MTP 提出多少个草稿词元，这里是 5
--max-concurrency | 限制同时请求数，这里是 16

示例：两个 rank 都运行以后，你向第一台 Spark 发送一个聊天请求，模型名是 DeepSeek-V4.1-Flash，用户消息是 Hello，新词元上限为 128。服务器会返回一个 OpenAI 风格的聊天补全，里面是模型的回答。

新手与专家：这不是下载了就能聊天的模型。它是为两台特定机器准备的部署包，所以请把它当作高级项目。第一件可以试的小事，是读一读要求清单，看你的硬件合不合适。

这个包把模型分到两台 Spark 上，由引擎通过互联把后一半的权重传过去。部署默认总共留出约 14 GiB 的 KV 缓存，两台共 1660 万个词元，把每台机器统一内存的其余部分留空。预填充以 8192 个词元为一块。代价是对硬件和构建的要求很高。

官方 DeepSeek V4.1 Flash 权重
TrellisMX 压缩专家和 4 位 Engram
Flare 包，259 GiB 签名负载
两台 Spark 上的 rank 0 和 rank 1
8000 端口上兼容 OpenAI 的 API

注意事项：

• Signature: 这个包带的是开发签名，不是生产签名，所以需要 dangerously 参数，卡片说只能在可信主机上使用它们。
• Network: 服务器监听所有地址，默认没有 API 密钥，所以请把它放在可信的网络里。
• Build: 引擎分支的上游拉取请求之前的普通 flare-inference 发布版加载不了它。
• Provenance: 基础权重和 TrellisMX 包都标注了 MIT 许可证。
• License: MIT，许可证一行就是这样写的。卡片还要求你查看并接受模型许可证。
• Cost to run: 没有提到 API 密钥、账号或付费服务。你需要两台 DGX Spark。
• Data it reaches: 你发给自己服务器的提示词，以及你自己磁盘上的权重。
• Not for: 卡片说不要对不可信的包使用 dangerously 参数，并且在公开部署前要用生产密钥重新签名。

Hugging Face 上的数据（2026年11月14日）

• 任务：image text to text
• 最近 30 天下载：0
• 点赞：2
• 许可证：mit
• 基于：deepseek-ai/DeepSeek-V4.1-Flash-1017
• 标签：flare, trellismx, gb10, tensor-parallel, image-text-to-text

链接

• 模型：https://huggingface.co/JMNI-Labs/DeepSeek-V4.1-Flash-1017-TrellisMX-FLARE
• 文件：https://huggingface.co/JMNI-Labs/DeepSeek-V4.1-Flash-1017-TrellisMX-FLARE/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download JMNI-Labs/DeepSeek-V4.1-Flash-1017-TrellisMX-FLARE

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。