MiMo-V2.6-Distill-Qwen-9B-GSQ-RCO-GGUF

MiMo-V2.6-Distill-Qwen-9B-GSQ-RCO-GGUF

把一个 9B 的编程和工具调用模型做成一个 3.64 GiB 的 GGUF 文件，以约 3.5 比特每权重量化，方便在你自己的机器上运行。

由 sainez 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：作者把一个 9B 的 Xiaomi MiMo 模型压缩成一个混合位宽的 GGUF 文件，体积从 BF16 的 16.68 GiB 降到 3.64 GiB。这项工作用了名为 GSQ 和 RCO 的两种方法。目标是在长上下文的本地使用中保持智能体式编程、简短推理和准确的工具调用。

适合谁：它适合在自己的硬件上运行编程模型的人，尤其是使用统一内存的设备，也适合研究量化的研究人员。

Industry | Who uses it | How they use it | Example
软件开发 | 开发者 | 在本地运行环境里加载 GGUF 文件获取编程帮助 | 用一个留在你机器上的模型修复错误
本地 AI | 统一内存设备的拥有者 | 用约 3.64 GiB 运行一个 9B 模型 | 不用托管服务就试用编程智能体
人工智能研究 | 量化研究人员 | 研究每个张量的混合精度是如何分配的 | 把这个方案和普通量化做比较

如果你需要完整的 BF16 质量或托管服务，可以跳过它，因为这是一个压缩后的副本。

用在哪里：

• 能读取 GGUF 文件的本地运行环境
• Windows、macOS 或 Linux，下载步骤需要 Python
• 统一内存的设备，模型卡把它们作为目标

Use case | Who | What they get back
本地编程帮助 | 开发者 | 来自你机器上模型的代码回答和简短推理
工具调用 | 智能体开发者 | 多轮工具调用，模型卡说它力求保持准确
量化研究 | 研究人员 | 一个在混合架构模型上使用 GSQ 加 RCO 的实例

如何设置：

• Python，用来运行 Hugging Face 下载工具
• huggingface_hub 包
• 一个能加载 GGUF 文件的运行环境
• 为约 3.64 GiB 的模型文件留出空间

1. 安装 Hugging Face 的 hub 包。
2. 把仓库文件下载到你的电脑。
3. 在你的 GGUF 运行环境里打开 gguf 文件。

pip install -U huggingface_hub
hf download sainez/MiMo-V2.6-Distill-Qwen-9B-GSQ-RCO-GGUF

如何使用：下载内容里有 gguf 模型文件，还有一个记录每个张量格式的小 json 清单。这里的模型卡文字没有给出运行命令，所以请按你的运行环境文档说明的方式加载 gguf 文件。

Tool | What it does
hf download | 把仓库文件下载到你的电脑
gguf 文件 | 量化后的模型本体
json 文件 | 记录每个张量的格式和字节大小的清单

示例：你加载 gguf 文件，贴上一个有错误的短函数，请它修复。模型卡说，这个模型力求把思考写得简短并放在 think 标签里，也力求在多轮中准确调用工具。

新手与专家：量化模型是一个缩小的副本，每个数字用更少的比特来存，所以能装进较小的机器。上手时，先运行那两条下载命令，再确认 gguf 文件约为 3.64 GiB。

如果你熟悉这个领域：基础模型是 32 层的混合架构，有 24 个 Gated DeltaNet 块和 8 个 Gated Attention 块。GSQ 为低比特格式细化网格码和缩放系数。RCO 再在固定的字节上限下为每个张量分配格式。

从 BF16 检查点开始
每个块矩阵得到候选格式
GSQ 细化低比特候选
RCO 为每个张量选定一种格式
结果是一个 GGUF 文件

注意事项：

Title: 文件大小，单位 GiB
BF16 原版: 16.68 GiB
这个量化版本: 3.64 GiB

• 方法：两个词元嵌入矩阵保持在 Q4_K，模型卡说这让词表 KL 散度降低了 17.0%
• 校准：2,048 个 token 的窗口，覆盖编程、代码推理、工具、推理和通用文本
• License: apache-2.0
• Cost to run: 没有提到费用，在你自己的硬件上运行
• Data it reaches: 你给它的提示词，以及你从 Hugging Face 下载的文件
• Not for: 与 BF16 原版完全一致，因为它是量化后的副本

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：9B
• Weights: about 4.5 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：1,548
• 点赞：2
• 许可证：apache-2.0
• 基于：XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B
• 标签：gguf, llama.cpp, quantization, qwen3_5, mimo, agentic-coding, text-generation, imatrix, conversational

链接

• 模型：https://huggingface.co/sainez/MiMo-V2.6-Distill-Qwen-9B-GSQ-RCO-GGUF
• 文件：https://huggingface.co/sainez/MiMo-V2.6-Distill-Qwen-9B-GSQ-RCO-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download sainez/MiMo-V2.6-Distill-Qwen-9B-GSQ-RCO-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。