DeepSeek-V4.1-Flash-1017-GSQ-agentic-strata

DeepSeek-V4.1-Flash-1017-GSQ-agentic-strata

把 763.2B 参数的 DeepSeek V4.1 Flash 做成 153 GiB 的混合精度版本，针对智能体和编程工作调校，在 strata 引擎上运行。适合有大显存 GPU 和大量内存的人。

由 kaushikvira 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 DeepSeek V4.1 Flash 1017 的混合精度量化版本，原模型是一个 763.2B 参数的混合专家模型。它是为 strata 引擎（Xolotl 的一个分支）做的。每个路由专家都根据在智能体和编程数据集上的激活统计，得到自己的精度档位。结果刚好放进 153 GiB 的固定预算。

适合谁：它适合在一块大显存 GPU 加大量内存上运行智能体或编程工作负载的开发者和团队，以及研究量化的研究者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在一块 GPU 加内存上为编程智能体部署一个巨型模型 | 一个长上下文的本地编程智能体
研究 | 量化研究者 | 根据激活统计研究逐专家的混合精度 | 把档位图与全 Q2_0 的设计对比
运维 | 平台团队 | 在一块 72 GB GPU 上借助内存卸载运行长上下文模型 | 一个私有的智能体服务器
AI 工程 | 工具开发者 | 在大型开源模型上测试工具调用类工作负载 | 重放软件修复的轨迹

如果你有的是小电脑，或者想要普通的 llama.cpp 文件，可以跳过它，因为它需要 strata 引擎和约 153 GiB 磁盘。

用在哪里：

• strata 引擎，卡片点名的 Xolotl 分支，带它的 ds41_generate 工具
• 按卡片描述，带 72 GB GPU 和大块内存区的机器
• Windows、macOS 或 Linux，用 Python 下载文件

使用场景 | 适合谁 | 能得到什么
智能体编程 | 开发者 | 一个精度偏向编程任务所用专家路径的模型
长上下文 | 平台团队 | 带 FP4 KV 缓存的 512K 词元上下文
混合部署 | 运维人员 | 热门专家放在 GPU 内存，冷门专家放在内存

如何设置：你需要装有 pip 的 Python、strata 引擎，以及带 72 GB GPU 并有足够内存放冷门专家的机器。卡片可见的部分没有给出引擎的安装步骤，所以请按引擎项目自己的页面来。

• Python 和 pip
• Xolotl 项目里的 strata 引擎
• 约 153 GiB 磁盘，这是卡片的预算
• 一块 72 GB GPU 和大量内存

1. 用 pip 安装 Hugging Face 客户端。
2. 用 hf 命令下载这个仓库，这是个很大的下载。
3. 安装 strata 引擎，并按它的步骤加载这些文件。

pip install -U huggingface_hub
hf download kaushikvira/DeepSeek-V4.1-Flash-1017-GSQ-agentic-strata

如何使用：用 strata 引擎的 ds41_generate 工具来运行这些文件，卡片的致谢表里点了它的名字。卡片可见的部分没有给出运行命令，所以请用引擎自己的说明。

示例：你下载文件，设置好 strata，在带 72 GB GPU 的机器上运行这个模型。热门专家放在 GPU 内存，冷门的放在内存，你就能用长上下文做编程工作。

新手与专家：可以把它看作一个被压缩到一台大机器上能装下的巨型模型，压缩时的精细功夫花在编程智能体会用到的部分上。第一件可以试的小事，是在开始下载之前先读引擎的页面。

一个由 32 条、每条 8,192 个词元组成、偏重智能体和编程文本的校准集，产生了激活统计。然后约 30,720 个专家投影各自得到 Q3_K、Q2_0 或三值，使总量正好达到 153 GiB。护栏包括三值每层 0.5 的上限、门加上投影与下投影分开分配，以及给边缘层额外权重。最不敏感的专家以三值的形式在 CPU 上运行。

获取 DeepSeek V4.1 Flash 基础模型
构建智能体和编程的校准集
收集每个专家的激活统计
为每个专家投影分配档位
量化，再加上侧车、排名文件和 engram 层

注意事项：

• Size: 卡片的预算是 153 GiB。Hugging Face 列出 14.7B 参数和 7.4 GB 的 4 位估算，两者对不上，所以请按卡片的数字来规划。
• Tiers: 按字节算，Q3_K 占专家数据的 41%，Q2_0 占 38%，三值占 21%。

Title: 专家字节占比，百分比
Q3_K: 41 %
Q2_0: 38 %
三值: 21 %

档位 | 每个权重的位数 | 专家字节占比 | 大小
Q3_K | 3.44 | 41% | 约 63 GiB
Q2_0 | 2.25 | 38% | 约 57 GiB
三值 | 1.69 | 21% | 约 32 GiB

• Not plain GGUF: 卡片说它不是标准的 llama.cpp 文件，因为档位图、engram 层、排名文件和 DSpark 侧车都专属于 strata。
• Sidecar: MTP 和视觉侧车被重新量化为 Q2_K，大小 5.3 GiB。
• No tuning: 卡片说没有微调，也没有去除安全限制，只是一次经过校准的量化。
• Credit: 源权重是 DeepSeek-AI 的，GSQ 方法是 antirez 的，引擎是 Xolotl 项目的。
• Popularity: 最近 30 天有 46 个赞和 21,066 次下载。
• License: MIT，许可证一行就是这样写的。
• Cost to run: 没有提到 API 密钥、账号或付费服务。你需要一台超大的机器。
• Data it reaches: 你交给引擎的提示词，以及下载时用到的 Hugging Face。卡片说它不附带专有或个人数据。
• Not for: 标准的 llama.cpp 运行，或者小电脑。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：strata
• 参数量：14.7B
• Weights: about 7.4 GB at 4-bit (estimate)
• Formats: Safetensors, GGUF
• 最近 30 天下载：22,196
• 点赞：49
• 许可证：mit
• 基于：deepseek-ai/DeepSeek-V4.1-Flash-1017
• 标签：strata, safetensors, gguf, deepseek_v41, deepseek, deepseek-v4.1, 763b, mixed-precision, ternary, q3_k, q2_0, xolotl

链接

• 模型：https://huggingface.co/kaushikvira/DeepSeek-V4.1-Flash-1017-GSQ-agentic-strata
• 文件：https://huggingface.co/kaushikvira/DeepSeek-V4.1-Flash-1017-GSQ-agentic-strata/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download kaushikvira/DeepSeek-V4.1-Flash-1017-GSQ-agentic-strata

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。