DeepSeek-V4.1-Flash-1017-Sushi-STQ-1.75bpw

DeepSeek-V4.1-Flash-1017-Sushi-STQ-1.75bpw

让 261B 的 DeepSeek V4.1 Flash 模型在 Apple Silicon Mac 上通过 sushi 引擎运行，权重压到约每个 1.75 比特，支持图片输入，上下文最长 1,048,576 个词元。

由 beamster 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库里是 beamster 为 sushi 重新打包的 DeepSeek-V4.1-Flash-1017，sushi 是为 Apple Silicon 打造的推理引擎。2.0 版本在每个测试类别里都比 1.0 版本更接近原模型。它还把专家权重按一种顺序存放，方便 sushi 从 SSD 流式读入专家缓存。

适合谁：它适合有 Apple Silicon、磁盘空间充足、想通过 sushi 在本地运行超大模型的 Mac 用户。

行业 | 谁在用 | 怎么用 | 例子
本地 AI 爱好 | Mac 爱好者 | 在 Apple Silicon 上运行超大开源模型 | 在高配 Mac 上试一试 261B 模型
软件开发 | 开发者 | 在本地测试工具调用和智能体行为 | 对模型运行一个工具使用基准测试
AI 研究 | 量化研究者 | 把压缩包与原始检查点做对比 | 查看每个类别的 KLD 表
长文档 | 分析师 | 输入很长的内容，最长到标明的上下文上限 | 针对一份长报告提问

如果你用 Windows、Linux 或 Intel Mac，可以跳过它，因为这个包只能在 Apple Silicon 上配合 sushi 使用。

用在哪里：

• sushi 引擎，1.5.0 或更高版本，运行在 Apple Silicon 上
• macOS 26.2 或更高版本
• 任何装有 Python 的电脑，只用来下载文件

用例 | 谁用 | 得到什么
本地聊天和图片提问 | Mac 用户 | 文字回答，视觉模块负责图片输入
工具调用 | 开发者 | 工具使用表现，在 1.0 版本上测得 100 分中的 92 分
长上下文工作 | 分析师 | 最长 1,048,576 个词元的上下文窗口

如何设置：你需要一台较新的 Apple Silicon Mac，以及约 309 GiB 的磁盘空间来放这个包。

• 运行 macOS 26.2 或更高版本的 Apple Silicon Mac
• sushi 引擎 1.5.0 或更高版本，因为旧版本会按名称拒绝这个包
• 约 309 GiB 磁盘，其中 120 GiB 是权重，189 GiB 是 Engram 表
• 如果用 Hugging Face 工具下载，需要 Python 和 huggingface_hub

1. 在你的 Mac 上安装 sushi 1.5.0 或更高版本。
2. 用 Hugging Face 工具下载这个包，如果你已经有 1.0 版本，就用 sushi pull。
3. 按 sushi 使用指南设置启动参数、内存和上下文。

pip install -U huggingface_hub
hf download beamster/DeepSeek-V4.1-Flash-1017-Sushi-STQ-1.75bpw

如何使用：你通过 sushi 运行这个模型，启动参数写在它的使用指南里。如果你留在旧版 sushi 上，可以按标签获取第一个版本。

hf download beamster/DeepSeek-V4.1-Flash-1017-Sushi-STQ-1.75bpw --revision v1.0

工具 | 作用
sushi pull | 为已有 1.0 版本的人获取 2.0 版本，只更换有差异的文件
hf download 加 --revision v1.0 | 为旧版 sushi 获取 1.0 版本

示例：你已经有 1.0 版本，运行 sushi pull。它会比较文件内容，只下载有变化的文件，并在替换旧文件之前检查每一个。

新手与专家：如果你刚接触这类模型，它就是一个被压缩到能放进 Mac 的巨型模型，sushi 是运行它的程序。第一次可以先读 sushi 使用指南，看看你的 Mac 需要多少内存。

对熟悉这个领域的人来说，路由专家用 STQ，一种带成对码字的网格量化，平均 1.75 比特。主干用 4 比特，输出头用 6 比特。Engram 表保持发布时的样子，从 SSD 读取，不会载入 GPU 内存。这个包还包含三个 DSpark 推测解码阶段。

Title: 相对原模型的 KLD，越低越好
Revision 2.0: 0.1576 KLD
Revision 1.0: 0.1843 KLD
oQ2.5e: 0.1717 KLD

你下载这个包
sushi 加载主干和 1.75 比特的专家
Engram 表从 SSD 流式读取
你得到文字回答，或通过视觉模块得到图片相关回答

注意事项：质量数字来自这个包的作者，覆盖八个类别、每类两个提示词，所以请把它们当作参考，而不是基准测试。

• License: MIT，作为 DeepSeek-AI 基础模型的衍生版本
• Cost to run: 未提及
• Data it reaches: 你磁盘上的文件，Engram 表从 SSD 读取
• Not for: 1.5.0 之前的 sushi 版本，或 Apple Silicon Mac 以外的机器

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 参数量：261B
• Weights: about 261 GB in F8_E4M3; about 131 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：3,478
• 点赞：23
• 许可证：mit
• 基于：deepseek-ai/DeepSeek-V4.1-Flash-1017
• 标签：safetensors, deepseek_v41, sushi, apple-silicon, image-text-to-text, fp8

链接

• 模型：https://huggingface.co/beamster/DeepSeek-V4.1-Flash-1017-Sushi-STQ-1.75bpw
• 文件：https://huggingface.co/beamster/DeepSeek-V4.1-Flash-1017-Sushi-STQ-1.75bpw/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download beamster/DeepSeek-V4.1-Flash-1017-Sushi-STQ-1.75bpw

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。