Kimi-K3.1-Pro-Coder

Kimi-K3.1-Pro-Coder

运行经过深度压缩的 2.8T 参数 Kimi-K3.1-Pro，针对编码和数学做了调校。由 Grawnch 用三层混合比特方案制作，适合拥有高端 GPU 工作站的人。

由 Grawnch 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Kimi-K3.1-Pro-Coder 是 Grawnch 对 moonshotai/Kimi-K3.1-Pro 做的压缩版，后者是一个 2.8T 参数的混合专家模型。一种叫 Strata-Coder 的三层混合比特方案，依据专家在编码和数学工作中被调用的频率来调校。结果是 96 个分片，总共 774.97 GB，常用的专家保留更多比特，很少用到的专家被压缩得最狠。

适合谁：适合拥有高端硬件、想用更少资源运行超大编码型模型的人，也适合研究混合专家模型压缩的研究人员。

Industry | Who uses it | How they use it | Example
软件 | 拥有 GPU 工作站的开发者 | 运行超大编码模型，把权重分散到 GPU 显存、系统内存和 NVMe 上 | 解一道 LeetCode 风格的题
研究 | 量化研究人员 | 研究专家层的混合比特压缩 | 对照模型卡里的一致性和困惑度数据
AI 平台 | 基础设施工程师 | 用 Strata 引擎测试分层卸载 | 在一张卡上检查吞吐量

如果你没有工作站级 GPU，可以跳过它，因为模型卡的测试用的是一张 102.6 GB 显存的卡。

用在哪里：

• 作者的 Strata 引擎，一个把权重分散到 GPU 显存、系统内存和 NVMe 硬盘上的加载器
• 作者的 dr-triton 内核，用于融合的 Triton 反量化
• NVIDIA RTX PRO 6000 Blackwell Server Edition，也就是模型卡测试所用的卡
• 装有 Python 的 Windows、macOS 或 Linux，用来下载

Use case | Who | What they get back
编码题 | 开发者 | 来自编码调校模型的编程任务解答
数学题 | 学生和研究人员 | 竞赛风格问题的整数答案
卸载测试 | 基础设施工程师 | 了解跨显存、内存和 NVMe 的分层加载

如何设置：

• Python 和 huggingface_hub 软件包
• Strata 引擎和 dr-triton 内核，模型卡里都提到了
• 大显存 GPU、充足的系统内存和快速的 NVMe 存储

1. 安装 Python，并用下面第一条命令安装 huggingface_hub 软件包。
2. 用第二条命令下载模型文件，这是一次非常大的传输。
3. 从作者那里获取 Strata 引擎和 dr-triton 内核。
4. 通过 Strata 加载模型，这样三个存储层都能用上。

pip install -U huggingface_hub
hf download Grawnch/Kimi-K3.1-Pro-Coder

如何使用：模型卡没有给出运行命令。它指向 Strata 引擎来加载。这个引擎把最热的专家放在 GPU 显存，一组温的专家放在锁页系统内存。冷的长尾留在 NVMe 硬盘上，通过 mmap 读取。

Tool | What it does
Strata | 带路由预读，把模型加载到显存、内存和 NVMe 上
dr-triton | 提供对权重做反量化的融合 Triton 内核

示例：你给它一道竞赛编程题，类似模型卡 LiveCodeBench 题集里的那种。在模型卡的 30 道滚动窗口题里，基础模型和这个压缩版各解出了 29 道。

新手与专家：这是一个需要专门加载软件和大量硬件的进阶模型，所以第一步是读模型卡，记下你需要哪些部件。在备齐之前先别下载。

基础模型有 93 层，每层 896 个路由专家。非路由部分，包括注意力和视觉塔，保持 BF16 或 F32。路由专家按使用情况分成三层，占比分别是 15%、30% 和 55%。模型卡报告与基础模型的平均 KL 散度约为 0.02，困惑度大约上升百分之一到三。

按编码和数学的使用情况给专家排序
把每个专家分到一层
用更少的比特压缩冷专家
分别加载热、温、冷三层
用 Strata 生成

注意事项：

• License: Apache 2.0
• Cost to run: 未提及付费服务，但你需要高端 GPU、系统内存和快速 NVMe 存储
• Data it reaches: 下载时从 Hugging Face 获取文件，Strata 和 dr-triton 项目需要另外下载
• 模型卡的测试是作者自己做的，每组只有 30 道题，所以只能当作参考
• 模型卡给出的完整大小是 774.97 GB，而 Hugging Face 的记录约为 1,270 GB

Title: 各层大小，单位 GB
Non-routed: 114.76 GB
Tier 1 hot: 160.58 GB
Tier 2 warm: 254.53 GB
Tier 3 cold: 244.95 GB

Title: 各专家层的有效每权重比特数
Tier 1 hot: 2.81 bpw
Tier 2 warm: 2.56 bpw
Tier 3 cold: 1.44 bpw

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 参数量：1.3T
• Weights: about 1,270 GB in U8
• Formats: Safetensors
• 最近 30 天下载：695
• 点赞：6
• 许可证：apache-2.0
• 基于：moonshotai/Kimi-K3.1-Pro
• 标签：safetensors, kimi_k31, kimi-k3.1, quantization, mixed-bit, strata, dr-triton, image-text-to-text, 8-bit

链接

• 模型：https://huggingface.co/Grawnch/Kimi-K3.1-Pro-Coder
• 文件：https://huggingface.co/Grawnch/Kimi-K3.1-Pro-Coder/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Grawnch/Kimi-K3.1-Pro-Coder

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。