DeepSeek-V4.1-Flash-1017 TrellisMX K2 Mix

DeepSeek-V4.1-Flash-1017 TrellisMX K2 Mix

DeepSeek-V4.1-Flash-1017 的压缩版本，按两张 96 GB 显卡的规格设计，少数专家用更高精度存储。这是面向大模型部署者的研究版本。

由 brandonmusic 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 DeepSeek-V4.1-Flash-1017 的压缩版本，原模型是一个 115B 的文本生成模型，由 brandonmusic 用名为 TrellisMX 的方法制作。大多数路由专家以 2 位存储，少数用 3 位或 4 位，适合两张各 96 GB 的 RTX PRO 6000 Blackwell 显卡。模型卡用相对官方检查点的 KL 散度来衡量质量，数值越低越接近。

适合谁：适合在自己的多显卡机器上运行超大语言模型的工程师和研究人员，他们想知道压缩版本与原模型有多接近。

行业 | 谁在用 | 怎么用 | 例子
AI 基础设施 | 推理工程师 | 在双显卡服务器上测试低位专家存储 | 检查这种布局能否在自己的服务镜像里加载
研究 | 量化研究人员 | 把每个专家的位宽与官方检查点做对比 | 对照 K2 版本，查看这个版本测得的 KL 数据
硬件实验室 | GPU 实验室团队 | 在工作站显卡上试跑大型混合专家模型 | 在两张 96 GB 显卡上测试作者的服务镜像

如果你现在就需要一个能直接部署的模型，可以跳过它，因为整模型的服务、速度和缓存容量都还没有测量。

用在哪里：它面向多显卡的 Blackwell 机器，文件可以在常见桌面系统上下载。

• 运行 tensor parallel 2 的双显卡 Blackwell 工作站
• 作者的测试服务镜像，它能读取这种布局
• 两台 DGX Spark (GB10) 节点，使用 sm121-tp2 文件夹里未经验证的测试工具包
• Windows、macOS 或 Linux，用 Python 工具下载文件

用例 | 谁用 | 得到什么
保真度检查 | 研究人员 | 相对官方检查点测得的 KL 散度
布局测试 | 推理工程师 | 为 tensor parallel 2 预先切片的检查点
压缩研究 | 量化研究人员 | 清单文件里列出的每层专家位宽

如何设置：下载文件很简单，运行它则需要配套的环境。

• 带 pip 的 Python，用来获取文件
• 约 115 GB 的磁盘空间存放权重
• 如果打算运行它，需要两张 96 GB 的 Blackwell 显卡
• 能读取这种布局的服务环境，例如作者的测试镜像

1. 用 pip 安装 Hugging Face 的 hub 工具。
2. 用 hf 命令下载检查点。
3. 让能读取这种 TrellisMX 布局的服务镜像指向下载好的文件夹。

pip install -U huggingface_hub
hf download brandonmusic/DeepSeek-V4.1-Flash-1017-TrellisMX-K2-Mix

如何使用：模型卡没有给出这个检查点的运行命令，所以目前日常使用就是查看存储布局和测得的结果。

工具 | 作用
trellismx/manifest.json | 列出每一层中每个专家的位宽
tp2 sidecar files | 存放一层中各位宽对应的张量，已为两张显卡预先切片
sm121-tp2 folder | 面向两台 DGX Spark 节点的未经验证的测试工具包
Test serving image | 能读取这种布局，并已通过层级 GPU 测试

示例：你问这个混合版本比普通 K2 版本更接近官方模型多少。模型卡用数字回答。在 2,048 个 token 的序列上，平均 KLD 是 0.1306，top-1 匹配率 87.56%，而 K2 是 0.1429。

新手与专家：这是一个被压缩到能放进两张高端显卡的庞大语言模型。它是研究性质的发布，所以第一件可以做的小事就是下载文件，看看测得的数字。要和它聊天，还需要一套模型卡目前没有说明的服务环境。

TrellisMX 把每个路由专家存成 trellis 编码，再解码成 FP8 (E4M3) 操作数，每 32 个值配一个 UE8M0 缩放，采用无损的 CSF 格式。每个位宽来自一种分配方法，它偏向每字节带来最大 KL 增益的选择，并在大小预算内，让两张卡仍能容纳约 300 万个 token 的 KV 缓存。更宽的专家复用了 K3 和 K4 的编码，只是为 tensor parallel 2 重新排布。

从官方检查点出发
把专家编码成 2、3 或 4 位
按每字节的 KL 选择位宽
为两张显卡切分布局
运行层级测试并测量 KLD

注意事项：15,360 个路由专家里只有 629 个的位宽超过 2 位，模型卡对比了三个版本。

Title: 2,048 个 token 序列上的平均 KLD，越低越接近
K2 Mix: 0.1306 nats
K2: 0.1429 nats
K3: 0.0664 nats

• 状态：这是研究版本，目前只测量了 KLD。
• 大小：路由专家比 K2 版本多 2.87 GB。K3 版本需要三张卡。
• License: MIT，与基础模型相同。
• Cost to run: 没有提到费用，不过你需要两张 96 GB 的 GPU。
• Data it reaches: 你下载到磁盘上的文件。模型卡没有提到联网或账号访问。
• Not for: 现在就直接部署使用。整个模型还没有启动过，所以服务、速度和缓存容量都没有测量，已发布的 K2 镜像也不能运行这个混合版本。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：115B
• Weights: about 115 GB in U8
• Formats: Safetensors
• 最近 30 天下载：338
• 点赞：12
• 许可证：mit
• 基于：deepseek-ai/DeepSeek-V4.1-Flash-1017
• 标签：safetensors, deepseek_v41, trellismx, trellis-quantization, mixed-precision, 2-bit, 3-bit, 4-bit, deepseek, deepseek-v4.1, engram, text-generation

链接

• 模型：https://huggingface.co/brandonmusic/DeepSeek-V4.1-Flash-1017-TrellisMX-K2-Mix
• 文件：https://huggingface.co/brandonmusic/DeepSeek-V4.1-Flash-1017-TrellisMX-K2-Mix/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download brandonmusic/DeepSeek-V4.1-Flash-1017-TrellisMX-K2-Mix

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。