MiniCPM5-2B-GGUF

MiniCPM5-2B-GGUF

MiniCPM5-2B 文本模型的多种大小的量化 GGUF 副本，用 llama.cpp 和重要性矩阵制作。适合在自己电脑上运行小型中英文模型的人。

由 bartowski 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 openbmb 的 MiniCPM5-2B 文本生成模型的一组量化 GGUF 副本，由 bartowski 用 llama.cpp 版本 b10883 和重要性矩阵制作。每个文件都在大小和质量之间做取舍，所以你可以让模型适配你手头的内存。Hugging Face 列出的语言是英文和中文。

适合谁：适合想在本地运行小型语言模型、并需要选一个与自己内存相匹配的文件大小的人。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 给应用原型加一个小型本地模型 | 开发时在笔记本上运行一个聊天助手
教育 | 学生和爱好者 | 了解模型在不同量化大小下的表现 | 比较 Q4_K_M 文件和 Q6_K 文件
小企业 | 用旧电脑的店主 | 在配置一般的硬件上运行文本助手 | 不用云服务起草简短回复
研究 | 量化测试者 | 按大小和质量比较量化类型 | 把 IQ4_XS 和 Q4_K_S 放在一起比

如果你需要图像输入，或者需要未量化的原始权重，可以跳过它，原始权重在 openbmb 的仓库里。

用在哪里：它面向 llama.cpp 和其他能打开 GGUF 文件的程序，可在 Windows、macOS 或 Linux 上使用。

• llama.cpp，模型卡用它来制作这些文件
• 其他能加载 GGUF 文件的应用
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件
• Apple silicon 的 Mac，模型卡说 Q4_1 文件在上面每个词元更省电

使用场景 | 谁用 | 得到什么
本地聊天 | 爱好者 | 在自己机器上运行的小模型给出的回复
低内存机器 | 内存很少的用户 | 更小的量化，比如 Q3_K_L，模型卡称它在低内存下可用
大小比较 | 测试者 | 同一个模型的多种大小，可以并排比较

如何设置：选一个量化文件，下载它，然后在你的 GGUF 运行程序里打开。大多数人可以从 Q4_K_M 开始，这是模型卡的默认推荐。

• Python，用于 Hugging Face 下载命令
• 一个能打开 GGUF 文件的运行程序，比如 llama.cpp
• 常见量化大约需要 1.5 到 2 GB 的磁盘空间

1. 从下面的表里选一个量化。
2. 安装 Hugging Face 工具。
3. 用 Hugging Face 命令下载文件。
4. 在 llama.cpp 或其他 GGUF 应用里打开选好的文件。

量化 | 什么时候选它
bf16 | 原始精度，文件最大
Q8_0 | 量化版里质量最好，通常超出你的需要
Q6_K | 接近原版的质量，推荐选择
Q5_K_M | 质量高，推荐
Q4_K_M | 模型卡的默认选择，适合大多数用途
Q4_K_S | 质量略低，空间略省
IQ4_XS | 比 Q4_K_S 更小，性能相近
Q3_K_M | 质量低，适合内存紧张的情况

pip install -U huggingface_hub
hf download bartowski/MiniCPM5-2B-GGUF

如何使用：把每个提示词放进模型卡的提示词格式里，在两个位置分别填上你的系统指令和你的问题。模型在助手标记之后写出它的回答。

<s><|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

示例：在系统位置放一句简短的指令，比如语气要友好，在提示词位置放一个简单的问题。模型会从助手那一行接着写出它的回复，可以是英文或中文。

新手与专家：GGUF 是在自己电脑上运行模型的单文件格式，量化就是模型的缩小版副本。文件越小需要的内存越少，也会损失一些质量。第一个小尝试是下载 Q4_K_M，然后用一个简短的问题聊聊。

对专家来说，这些文件是 imatrix 量化，用重要性矩阵来决定哪里需要保留精度。K 系列和 I 系列在方法上不同，L 变体让更多敏感权重保持更高精度。模型卡把推测解码标为 no，并且只列出文本作为输入。

选一个量化大小
下载文件
在 llama.cpp 里打开它
把提示词放进格式里
阅读回复

注意事项：模型卡列出的文件比这里更多，这些大小是一部分的对比。

Title: 所选量化的文件大小
bf16: 5.04 GB
Q8_0: 2.68 GB
Q6_K: 2.11 GB
Q5_K_M: 1.92 GB
Q4_K_M: 1.62 GB
Q4_K_S: 1.53 GB
IQ4_XS: 1.46 GB
Q3_K_M: 1.24 GB

• License: Apache-2.0。
• Cost to run: 未提及，没有 API 密钥、账号或付费服务。
• Data it reaches: 它从 Hugging Face 下载文件，然后处理你给它的提示词。
• Not for: 文本以外的输入、推测解码，或模型卡不推荐的 Q3_K_S 文件。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：2.5B
• Weights: about 1.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：9,232
• 点赞：38
• 许可证：apache-2.0
• 语言：en, zh
• 基于：openbmb/MiniCPM5-2B
• 标签：gguf, minicpm, minicpm5, llama, text-generation, long-context, tool-calling, on-device, edge-ai, conversational

链接

• 模型：https://huggingface.co/bartowski/MiniCPM5-2B-GGUF
• 文件：https://huggingface.co/bartowski/MiniCPM5-2B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download bartowski/MiniCPM5-2B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。