DeepSeek-V4.1-Flash-1017 iQ-MLX Pruned192 2.25bpw

DeepSeek-V4.1-Flash-1017 iQ-MLX Pruned192 2.25bpw

通过 mlx-serve 在 128 GB 内存的 Mac 上运行剪枝后的 2 位 DeepSeek-V4.1-Flash，保留 384 个专家中的 192 个和 1M token 上下文。在代码、推理和工具调用上表现最好。

由 ddalcu 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是为内存 128 GB 的 Mac 上的 mlx-serve 制作的 DeepSeek-V4.1-Flash-1017 压缩包。在每一层中，384 个路由专家有一半留下，共 192 个，再用 GPTQ 压缩到 2 位。注意力主干和共享专家完全保持原始发布版本的样子。这个包保留了 1M token 上下文、推测解码和视觉塔。

适合谁：它适合有 128 GB Mac、想在本地运行大型编程和智能体模型的人，以及研究专家剪枝的研究者。

Title: 谁可能用到它
行业 | 谁在用 | 怎么用 | 例子
软件开发 | 开发者 | 在自己的 Mac 上运行大型编程和推理模型 | 让它在本地处理一项编程任务
本地智能体 | 智能体开发者 | 用它做工具调用和智能体会话 | 不依赖云服务就能调用工具的智能体
模型研究 | 研究者 | 研究砍掉一半专家要付出什么代价 | 阅读按切片划分的 KLD 和 top-1 表格

需要非英文文本、聊天质量，或者内存不足 128 GB 的 Mac 的人可以跳过。如果有 256 GB，模型卡说应该用 3.0 bpw 的包。

用在哪里：

• mlx-serve，26.11.2 或更新版本，在 Mac 上
• Mac 的内置 SSD，模型卡说模型应放在那里
• Windows、macOS 或 Linux：你可以用 Python 下载文件，不过这个包是为 Mac 制作的

Title: 它能做的事
用途 | 适合谁 | 得到什么
编程帮助 | 开发者 | 剪枝后依然表现不错的模型写出的代码
工具使用和智能体 | 智能体开发者 | 模型卡测试过的工具调用和智能体会话
推理任务 | 研究者 | 与发布版本接近的推理回答

如何设置：你需要先准备：

• 一台 128 GB 内存的 Mac，因为这个包常驻内存约 92 GB
• 内置 SSD 上约 296 GB 的可用空间，用于下载
• mlx-serve 26.11.2 或更新版本，模型卡通过 MLXServe 应用提供它的链接

1. 安装 Hugging Face hub 软件包。
2. 下载仓库文件。
3. 安装 mlx-serve 26.11.2 或更新版本。
4. 用模型卡的命令启动服务器。

pip install -U huggingface_hub
hf download ddalcu/DeepSeek-V4.1-Flash-1017-MLX-Serve-iQ-MLX-Pruned192-2.25bpw

下载内容包括 203 GB 的 Engram 表。每个 token 都会从 SSD 读取它们，它们不会常驻内存。

Title: 哪个 Mac 用哪个包
包 | 占用内存 | 下载大小 | 适合
无损版 | 288 GB | 477 GB | 512 GB 的 Mac，或作为参照
iQ-MLX-3.0bpw | 209 GB | 427 GB | 256 GB 的 Mac
iQ-MLX-Pruned192-2.25bpw，本包 | 92 GB | 296 GB | 128 GB 的 Mac

如何使用：用模型卡的命令启动服务器，这条命令指明了这个模型并开启服务。

mlx-serve --model ddalcu/DeepSeek-V4.1-Flash-1017-MLX-Serve-iQ-MLX-Pruned192-2.25bpw --serve

每个版本都是仓库上的一个标签，main 是最新的。要固定某个版本，在下载命令里加上 revision 参数。

hf download ddalcu/DeepSeek-V4.1-Flash-1017-MLX-Serve-iQ-MLX-Pruned192-2.25bpw --revision v1.0

示例：你在 128 GB 的 Mac 上启动服务器，并给它一个编程任务。根据模型卡，代码、推理和工具调用在剪枝后依然不错，聊天和非英文文本受到的影响更大。

新手与专家：如果你刚接触，请知道这是一个庞大的下载，只适合一种 Mac。开始之前先确认你有 128 GB 内存和足够的 SSD 空间。

如果你熟悉这个领域，请注意每个 token 激活 6 个专家，与发布版本一致。保留的专家是按路由加权输出能量，以及发布版本在真实智能体会话中的路由，混合起来挑选的。保留的专家在智能体流量上承载了路由器 82% 的权重。之前只按输出能量挑选的方案 KLD 得分更好，但在长的智能体会话中会陷入循环。

下载包和 Engram 表
安装 mlx-serve 26.11.2 或更新版本
用模型卡的命令启动服务器
工具、代码和推理请求在本地运行

注意事项：剪枝不是没有代价的。模型卡把这个包与发布版本自己的输出作对比，总体 top-1 一致率为 85.82%，而 3.0 bpw 的包是 92.64%。

Title: 与发布版本的 top-1 一致率，按切片
工具: 92.0 %
推理: 91.9 %
代码: 88.2 %
智能体: 87.9 %
聊天: 79.6 %
多语言: 65.4 %

• License: mit
• Cost to run: 未提及，只是需要一台 128 GB 内存的 Mac
• Data it reaches: 你发送的文本，以及从你的 SSD 读取的 Engram 表
• Not for: 非英文文本（会严重下降），或内存不足 128 GB 的 Mac

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：mlx-serve
• 参数量：27.1B
• Weights: about 109 GB in U32
• Formats: Safetensors
• 最近 30 天下载：606
• 点赞：4
• 许可证：mit
• 语言：en, zh
• 基于：deepseek-ai/DeepSeek-V4.1-Flash-1017
• 标签：mlx-serve, safetensors, deepseek_v41, gptq, expert-pruning, engram, dspark, text-generation

链接

• 模型：https://huggingface.co/ddalcu/DeepSeek-V4.1-Flash-1017-MLX-Serve-iQ-MLX-Pruned192-2.25bpw
• 文件：https://huggingface.co/ddalcu/DeepSeek-V4.1-Flash-1017-MLX-Serve-iQ-MLX-Pruned192-2.25bpw/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ddalcu/DeepSeek-V4.1-Flash-1017-MLX-Serve-iQ-MLX-Pruned192-2.25bpw

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。