DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF

DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF

DeepSeek-V4.1-Flash-1017 的 GGUF 版本，有三种很小的尺寸，每个张量用各自的精度量化，适合在有限硬件上运行超大混合专家模型的人。

由 ISTA-DASLab 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库提供 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本，它是一个有 763.2B 参数的稀疏混合专家模型，有三种大小。每个张量都有自己的量化类型，由一次搜索选出，在总大小预算内把更多比特分给敏感的部分。这些文件是标准 GGUF。

适合谁：它适合想在本地运行超大开源模型，并愿意用低比特的质量换取小体积的人。

Industry | Who uses it | How they use it | Example
本地 AI | 爱好者 | 在一块消费级 GPU 上运行巨型模型 | 用 Strata 在 12 GB 显卡上加载最小的版本
软件 | 开发者 | 通过 llama.cpp 部署大模型 | 把它当作工具里的本地文本生成器
人工智能研究 | 量化研究人员 | 研究极低比特下的逐张量比特分配 | 把三种大小与基础模型做对比
基础设施 | 机器学习工程师 | 测试大模型能压缩到多小 | 选一个适合固定内存预算的大小

如果你需要更高精度下接近无损的质量，这些文件不是为你准备的。

用在哪里：

• llama.cpp b11870 或更新的版本，它能读取这些文件，也支持图片输入
• Strata，模型卡说它让每个版本都能在一块 12 GB 显存的 GPU 上运行
• Windows、macOS 或 Linux

Use case | Who | What they get back
本地文本生成 | 开发者 | 在普通硬件上由 763.2B 参数模型生成的文字
低内存实验 | 研究人员 | 三种可以互相对比的大小
更新旧下载 | 早先的用户 | 在本地生成的当前文件，无需完整重新下载

如何设置：

你需要先准备：

• Python，用来运行 Hugging Face 下载命令
• llama.cpp b11870 或更新的版本
• Strata，如果你想在一块 12 GB 显存的 GPU 上运行

1. 安装 Hugging Face hub 工具并下载文件。
2. 如果是新下载，为你用的每个版本把共享的 Engram 文件链接一次。
3. 在 llama.cpp 或 Strata 里加载一个版本。

pip install -U huggingface_hub
hf download ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF

共享的 Engram 文件是每个版本的第 6 个分片。下面命令里的占位符是 IQ1_M、IQ2_XXS 或 IQ2_XS。

ln -s DeepSeek-V4.1-Flash-Engram-IQ4_NL.gguf DeepSeek-V4.1-Flash-1017-GSQ-RCO-<ID>-00006-of-00006.gguf

如何使用：在 llama.cpp 或 Strata 里加载你选的版本，然后和它聊天。如果你下载过早先的文件，就不需要再次获取模型。

Tool | What it does
GSQ | 学习每个张量的量化网格和缩放
RCO | 在大小预算内为每个张量选择量化类型
convert_ds41_upstream.py | 在本地把早先的下载改写成当前文件，只需获取 80 KB
Strata | 让每个版本都能在一块 12 GB 显存的 GPU 上运行

示例：你选了 IQ2_XXS 版本，链接好共享的 Engram 文件，在 llama.cpp 里加载它。你贴上一段堆栈跟踪，问哪里出了错。模型像任何聊天模型一样，用文字回答。

新手与专家：量化模型是大模型的缩小副本，牺牲一点准确度来节省内存。第一步可以试最小的那个大小，看看它的回答你是否满意。

模型每层有 384 个路由专家，每个 token 激活 6 个，上下文窗口是 1M token。路由专家占了大部分大小预算，所以搜索按层设置类型。GGUF 无法按专家表达类型。GSQ 让每个张量在给定类型下尽量准确，RCO 分配这些类型。

GSQ 用给定类型量化每个张量
RCO 为每个张量分配类型
结果保存为标准 GGUF
llama.cpp 或 Strata 加载该版本

注意事项：三个版本的每权重比特数不同，模型卡里有一张图，在 AIME25、GPQA-Diamond 和 LiveCodeBench v6 上把它们与基础模型做了对比。

Title: 每个版本的每权重比特数
IQ1_M: 1.75 bits
IQ2_XXS: 2.00 bits
IQ2_XS: 2.25 bits

• 更新: 有旧文件的人可以就地转换，而不用重新下载
• 其他版本: 列出了其他人做的 18 个量化版本和 3 个微调版本
• License: MIT
• Cost to run: 未提及，但即使是小版本也需要大量内存
• Data it reaches: 你加载的模型文件

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：197B
• Weights: about 98.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：3,635,772
• 点赞：655
• 许可证：mit
• 基于：deepseek-ai/DeepSeek-V4.1-Flash-1017
• Quantized versions: 20
• Fine-tunes: 3
• 标签：gguf, quantization, mixed-precision, ist-daslab, deepseek, text-generation, conversational

链接

• 模型：https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF
• 文件：https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。