DeepSeek V4.1 Flash GGUF for DwarfStar

DeepSeek V4.1 Flash GGUF for DwarfStar

为 Mac 用户提供 DeepSeek V4.1 Flash 经过校准的 2 位和 4 位 GGUF 文件，另有单独的视觉编码器，供 DwarfStar 的 Metal 引擎配合 SSD 流式加载使用。与其他 DeepSeek 权重不通用。

由 antirez 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 DeepSeek V4.1 Flash 经过校准的 GGUF 权重，用于 antirez 的项目 DwarfStar 里的 Metal 引擎。共有三个下载目标：Q2 版本、Q4 版本和一个小的单独视觉编码器。模型卡提醒，这些文件不能代替 DeepSeek V4 Flash 权重，也不能代替与之配套的 DSpark 草稿模型。

适合谁：如果你有一台大内存、带快速 SSD 的 Mac，想通过 DwarfStar 在本地运行超大的 DeepSeek 模型，它就适合你。

行业 | 谁在用 | 怎么用 | 例子
本地 AI | 128 GB Mac 的用户 | 用 SSD 流式加载运行 Q2 版本 | 在 Q2 文件上以 32768 个 token 的上下文启动 ds4
软件 | 构建智能体的开发者 | 用相同选项使用 ds4-agent 和 ds4-server 程序 | 把模型在本地提供给智能体
研究 | 量化爱好者 | 对比用同一个 imatrix 做出的 Q2 和 Q4 版本 | 了解每一档如何量化被路由的专家

如果你没有支持 Metal 的 Mac，或者打算使用其他运行时，可以跳过它，因为模型卡只覆盖 DwarfStar。

用在哪里：

• Mac 上 DwarfStar 的 ds4、ds4-agent 和 ds4-server 程序
• 用 SSD 流式加载运行 Q2 的单台 128 GB Mac
• 两台带 RDMA 的 128 GB Mac 常驻运行 Q2，或者一台更大的 Mac
• 装有 Python 的 Windows、macOS 和 Linux，仅用于通过 Hugging Face 的客户端下载

用例 | 谁 | 得到什么
本地聊天 | Mac 用户 | 在一台 Mac 上用 SSD 流式加载得到超大模型的回复
本地服务 | 开发者 | 由 ds4-server 提供的模型
图像输入 | 有视觉文件的用户 | 能接收图像的模型

如何设置：
你需要先准备：

• 支持 V4.1 的 DwarfStar 检出
• 一台支持 Metal 的 Mac 和一块快速的本地 SSD
• Q2 需要 340.60 GiB、Q4 需要 482.98 GiB 的磁盘空间，Q4 拼接分片时还要多留 37 GiB

1. 获取支持 V4.1 的 DwarfStar 检出。
2. 用 Q2 目标运行它的下载脚本。
3. 在下载好的文件上用 SSD 流式加载和你的上下文大小启动 ds4。
4. 要用 Q4 或图像，就用对应的目标再运行一次下载脚本。

./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

./download_model.sh ds41f-q4
./download_model.sh ds41f-vision

如何使用：你在 Q2 或 Q4 文件上运行 ds4 并和它聊天。要处理图像，就在同一条命令里用视觉参数加上视觉文件。ds4-agent 和 ds4-server 程序接受同样的模型和内存设置。

工具 | 作用
download_model.sh | 下载一个目标，并拼接和检查 Q4 的分片
ds4 | 从 GGUF 文件运行模型
--ssd-streaming | 从 SSD 读取数据，而不是全部放在内存里
--ctx | 设置以 token 为单位的上下文长度
--vision | 把视觉编码器文件加到语言模型命令里
ds4-agent 和 ds4-server | 用相同的模型和内存选项运行智能体或服务器

示例：你先运行 Q2 下载，然后在 Q2 文件上用 SSD 流式加载和 32768 的上下文启动 ds4。模型在单台 128 GB Mac 上从 SSD 加载。接着你在终端里和它聊天。

新手与专家：这是一个只有大内存 Mac 才能运行的巨大模型，而且只能配合 DwarfStar 引擎。可以先确认你的 Mac 和 SSD 符合这些数字，再用上面的两条 Q2 命令。

对熟悉这个领域的读者来说，每个语言文件都带有 188.83 GiB 按原生格式保存的 FP8 Engram 表，DwarfStar 直接从磁盘取用需要的行。Q2 的 gate 和 up 专家用 IQ2_XXS，down 专家用 Q2_K。在 Q4 版本中，每个被路由的专家都以 Q4_K 保存。两者都保留 Q8 的注意力投影，并共用一个来自 8,192 token 激活的 imatrix。

获取支持 V4.1 的 DwarfStar 检出
对一个目标运行 download_model.sh
用 GGUF 文件启动 ds4
Engram 表的行从 SSD 流式读取
在终端里聊天，或作为服务提供

注意事项：

• 兼容性：不要用这些文件替换 DeepSeek V4 Flash 权重，也不要把它们与其 DSpark 草稿模型配合使用。
• 存储：请把文件放在快速的本地 SSD 上，因为使用时会从中读取 Engram 的行。
• 大小：主权重的大小不包括上下文和运行时缓冲区。
• Q4 文件：Q4 分成两部分存放，由下载器拼接，单独的分片不能运行。
• 内存：较小的 Mac 上运行 Q4 需要 SSD 流式加载，常驻运行的目标是 512 GB 的 Mac。
• 数字：Hugging Face 列出 755B 参数和 4 位约 377 GB，但模型卡给出的是它自己的文件大小。

Title: 各下载目标的文件大小
ds41f-q2: 340.60 GiB
ds41f-q4: 482.98 GiB
ds41f-vision: 0.90 GiB

• License: MIT，附带上游的 MIT 许可证。
• Cost to run: 未提及。你需要一台大内存 Mac 和一块快速 SSD。
• Data it reaches: 读取你 SSD 上的模型文件，下载脚本会获取它们。这里的文字没有提到其他访问。
• Not for: 其他运行时，或与 DeepSeek V4 Flash 权重混用。Q4 的两个分片单独不能运行。

Hugging Face 上的数据（2026年11月13日）

• 参数量：755B
• Weights: about 377 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：918,185
• 点赞：94
• 许可证：mit
• 基于：deepseek-ai/DeepSeek-V4.1-Flash
• 标签：gguf, deepseek, metal, imatrix

链接

• 模型：https://huggingface.co/antirez/deepseek-v4.1-flash-gguf
• 文件：https://huggingface.co/antirez/deepseek-v4.1-flash-gguf/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download antirez/deepseek-v4.1-flash-gguf

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。