KAT-Coder-V2.5-Dev GGUF

KAT-Coder-V2.5-Dev GGUF

Kwaipilot 的 KAT-Coder-V2.5-Dev 的 imatrix GGUF 量化版本，这是一个 34.7B 文本模型，4 位文件约 19 GB 起。适合在本地运行名字里带 Coder 的大模型的人。

由 bartowski 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Kwaipilot 的 KAT-Coder-V2.5-Dev 的 GGUF 量化版本，这是一个 34.7B 的文本模型，列出的语言是英文和中文。有第三方用 llama.cpp 和重要性矩阵制作了这些文件，所以模型可以在许多本地工具里运行。名字暗示它是编程模型，但模型卡本身没有这么说。

适合谁：它适合运行大型本地模型、主要用来辅助写代码、并且能挑选适合自己内存的文件大小的人。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在自己的机器上运行面向编程的大模型 | 在聊天窗口里要一个函数
本地 AI | 爱好者 | 离线和 34.7B 模型聊天 | 试一试 Q4_K_M 文件
研究 | 评估人员 | 比较同一个模型的不同量化大小 | 用 Q5_K_M 和 Q4_K_M 做对比测量
工具开发 | 工具作者 | 用大型本地模型测试自己的应用 | 把它连到 LM Studio 或 koboldcpp

如果你的机器内存很少，可以跳过它，因为列出的 4 位文件约有 19 GB 或更大。

用在哪里：模型卡列出了几个能读取 GGUF 文件的应用。

• llama.cpp 和 ramalama
• LM Studio、koboldcpp、Jan AI 和 Atomic Chat
• Text Generation Web UI 和 LoLLMs
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

场景 | 适合谁 | 得到什么
编程辅助 | 开发者 | 来自本地模型的代码和解释
本地聊天 | 爱好者 | 不依赖托管服务的回复
量化比较 | 评估人员 | 不同文件在质量与大小上的对比

如何设置：你需要一个 GGUF 文件和一个能加载它的应用。模型卡提醒说，新近才支持的模型可能要先等应用开发者发布更新。

• 上面列出的某一个应用
• 一个适合你内存的文件，模型卡的默认大小是 Q4_K_M
• Python，仅用于 Hugging Face 下载命令

1. 从表里选一个文件。
2. 只下载那一个文件，不要下载整个仓库。
3. 加载它，并使用下面的提示格式。

Title: 模型卡里的部分文件
量化类型 | 大小 | 用途
bf16 | 69.38 GB | 完整权重，分成多个部分存放
Q8_0 | 36.91 GB | 质量最高，多数人用不到这么高
Q6_K | 30.05 GB | 近乎完美的质量，推荐
Q5_K_M | 25.02 GB | 高质量，推荐
Q4_K_M | 21.39 GB | 质量良好，多数场景的默认选择
IQ4_XS | 18.81 GB | 在更小的文件里保持不错的质量

pip install -U huggingface_hub
hf download bartowski/Kwaipilot_KAT-Coder-V2.5-Dev-GGUF

如何使用：把每次对话包进下面的格式里。助手回合以一个 think 标签开始，所以模型会先推理再回答。

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
<think>

示例：你在 LM Studio 里加载 Q4_K_M 文件，设置一条简短的系统提示词，请它写一个去掉列表中重复项的小函数。模型会先思考，然后写出这个函数。

新手与专家：量化文件用更粗的方式存储模型的数字来节省空间。先用 Q4_K_M 和一条简短的提示词，需要时再换更大或更小的文件。

对行家来说，这些量化用 llama.cpp 的 b10087 版本构建，重要性矩阵来自作者自己的数据集。Q6_K_L、Q5_K_L 和 Q4_K_L 把嵌入和输出权重保持在 Q8_0。Q4_0 和 IQ4_NL 为 CPU 推理提供在线重新打包。

原始模型被转换成 GGUF
重要性矩阵指导量化
写出从 bf16 到更小的多种大小
你下载一个适合你内存的文件
你在应用里加载它并发送提示词

注意事项：bf16 文件是分成多个部分的。Hugging Face 估计 4 位权重接近 17.3 GB。

Title: 各量化类型的文件大小
bf16: 69.38 GB
Q8_0: 36.91 GB
Q6_K: 30.05 GB
Q5_K_M: 25.02 GB
Q4_K_M: 21.39 GB
IQ4_XS: 18.81 GB

• License: Apache 2.0，按 Hugging Face 所列
• Cost to run: 未提及
• Data it reaches: 你的提示词（在本地运行），以及你下载的文件
• Not for: 小内存的机器，因为列出的文件从 18.81 GB 到 69.38 GB

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：34.7B
• Weights: about 17.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：234,191
• 点赞：148
• 许可证：apache-2.0
• 语言：en, zh
• 基于：Kwaipilot/KAT-Coder-V2.5-Dev
• 标签：gguf, code, agent, agentic-coding, coding, text-generation, imatrix, conversational

链接

• 模型：https://huggingface.co/bartowski/Kwaipilot_KAT-Coder-V2.5-Dev-GGUF
• 文件：https://huggingface.co/bartowski/Kwaipilot_KAT-Coder-V2.5-Dev-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download bartowski/Kwaipilot_KAT-Coder-V2.5-Dev-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。