DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF

DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF

ISTA-DASLab 制作的 DeepSeek-V4.1-Flash-1017 专家剪枝加量化的 GGUF 版本，面向代码和智能体工作，transformer 权重为 72.1 GB。适合有大内存机器的开发者。

由 ISTA-DASLab 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 ISTA-DASLab 制作的 DeepSeek-V4.1-Flash-1017 的压缩 GGUF 版本，面向代码、智能体工具使用、长上下文和视觉。每一层 384 个专家里去掉了一半，其余的沿用每个权重 2.00 比特的 IQ2_XXS 版本的量化方式。transformer 权重占 72.1 GB，模型卡按相对原始模型的方式，把它算作每个参数 1.05 比特。

适合谁：有大内存机器、想要体量更小的、偏重代码的 DeepSeek 模型的开发者，以及研究剪枝与量化结合的研究人员。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 用更少的内存在本地运行代码和智能体模型 | 让它修复一个代码仓库里的问题
研究 | 压缩研究人员 | 研究专家剪枝与量化的结合 | 对比它相对基础模型保留的分数
基础设施 | 托管团队 | 估算一个超大模型的部署规模 | 按 72.1 GB 的 transformer 权重来规划

如果你要做通用聊天，可以跳过它，因为模型卡说剪枝会损失代码、工具使用、长上下文和视觉之外的能力，并建议通用场景用未剪枝的版本。

用在哪里：

• 能加载 GGUF 文件的程序
• 内存足够放下约 72 GB transformer 权重的机器
• 连接到你自己运行的副本的编程和智能体工具

Use case | Who | What they get back
代码生成 | 开发者 | 根据任务描述写出的代码
仓库修复 | 智能体用户 | 针对真实代码问题的多步修改
长上下文和图片提示 | 团队 | 利用长输入或图片得出的回答

如何设置：

• Python 和 Hugging Face 工具
• 存放 72.1 GB transformer 权重的磁盘空间，外加 110.6 GB 的 Engram 查找表，它们可以留在磁盘上
• 能加载 GGUF 文件的程序

1. 安装 Hugging Face hub 软件包。
2. 下载仓库文件。
3. 在你的程序里加载 GGUF 文件。

pip install -U huggingface_hub
hf download ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF

如何使用：加载文件，发送代码和智能体提示词。模型卡里所有准确率数字都是在推理强度 50 下测得的，所以对比时请用同样的设置。

Tool | What it does
hf download | 把仓库文件复制到你的电脑
推理强度 50 | 模型卡里所有分数所用的设置

示例：给智能体工具一个代码仓库和一份缺陷报告，让模型给出修复。它应该会返回代码修改。模型卡报告说，它在 SWE-bench Verified 上保留了基础模型 94.8% 的分数。

新手与专家：如果你是新手，请知道这些文件很大，而且模型卡称这个版本是实验性的。先用小一点的模型熟悉流程。

如果你熟悉这个领域，每一层有 384 个路由专家，每个 token 会用到其中 6 个。剪枝在每层去掉了其中 192 个。原始模型一共有 763.2B 参数，其中 551.9B 在 transformer 里。剩下的 280.1B 参数平均 2.06 比特。

输入代码或智能体提示词
路由器从剩下的专家里挑选
72.1 GB 的 transformer 运行
按 token 读取 engram 表

Title: Coder 版本与基础模型对比
SWE-bench Verified 基础模型: 81.20 points
SWE-bench Verified Coder: 77.00 points
LiveCodeBench v6 基础模型: 89.71 points
LiveCodeBench v6 Coder: 88.57 points

注意事项：

• 模型卡称这是实验性版本，并希望收到关于校准数据里没有的能力的反馈。
• Hugging Face 自己的统计显示为 197B 参数，而模型卡描述的基础模型是 763.2B。
• License: mit。
• Cost to run: 没有提到，只需要你自己的硬件。
• Data it reaches: 你给它的提示词。来源没有提到账号或外部服务。
• Not for: 通用场景。模型卡建议这类用途选未剪枝的版本。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：gguf
• 参数量：197B
• Weights: about 98.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：342,280
• 点赞：225
• 许可证：mit
• 基于：deepseek-ai/DeepSeek-V4.1-Flash-1017
• Quantized versions: 3
• 标签：gguf, text-generation, image-text-to-text, vision, quantization, pruning, expert-pruning, mixed-precision, ist-daslab, deepseek, code, conversational

链接

• 模型：https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF
• 文件：https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。