MiniCPM5-2B-GGUF

MiniCPM5-2B-GGUF

提供 MiniCPM5-2B 的 GGUF 文件，这是一个支持中英文的小型稠密文本模型，适合在设备上和本地使用。适合想在普通硬件上用紧凑模型做编程、数学和工具调用的人。

由 openbmb 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 MiniCPM5-2B 的 GGUF 文件，它在 MiniCPM5 系列里排在 MiniCPM5-1B 之后。它是一个稠密的 2B Transformer，面向设备端和本地使用，也适合资源有限的环境。

模型卡称它整体上可与 4B 级模型竞争，在编程、数学、长上下文理解、工具使用和智能体任务上比同等大小的模型表现更好。请把这些当作作者自己的说法。

适合谁：它适合想在自己电脑上运行小型文本模型、使用中文或英文、又不想用托管服务的人。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 运行本地助手来处理代码和工具调用 | 离线写一个简短的函数
教育 | 学生 | 在笔记本上练习数学和编程题 | 解一道数学题
本地 AI | 爱好者 | 在普通硬件上和紧凑模型聊天 | 试一个中文提示词
边缘项目 | 设备开发者 | 测试用于设备端的小模型 | 看它在小机器上怎么跑

如果你需要尽可能大的模型，或者图像、音频模型，可以跳过它。

用在哪里：你在装有 Python 的 Windows、macOS 或 Linux 上下载文件，再在能读取 GGUF 文件的程序里加载。

• Windows、macOS 或 Linux 电脑
• 你自己机器上支持 GGUF 的程序
• 低内存环境，因为 4 位大小估计约 1.3 GB

用途 | 谁 | 得到什么
本地聊天 | 任何人 | 中文或英文的文本回复
代码和数学帮助 | 开发者和学生 | 草稿和解题过程
工具使用和智能体 | 构建者 | 用于智能体任务的文本输出

如何设置：你需要带 pip 的 Python 来下载文件，还需要一个能加载 GGUF 文件的程序。这些文件小到普通笔记本也放得下，4 位版本估计约 1.3 GB。

• 带 pip 的 Python
• 能加载 GGUF 文件的程序
• 4 位文件约需 1.3 GB 的空闲磁盘空间

1. 安装 Hugging Face hub 包。
2. 下载仓库文件。
3. 在你选的程序里加载一个 GGUF 文件。

pip install -U huggingface_hub
hf download openbmb/MiniCPM5-2B-GGUF

如何使用：文件加载后，你输入提示词，读它写回的文本。页面没有列出运行命令，所以请按你加载它的那个程序的说明来做。

示例：你用中文或英文向模型问一个简短的问题，比如一个小的编程任务。它用文本回答，任务较长时你可以一轮一轮接着聊。

新手与专家：如果你是新手，先用你习惯的语言问一个简短的问题，看看它在你的机器上回答得多快。文件越小，需要的内存越少。

如果你懂这个领域，这是 MiniCPM5 系列的稠密 2B Transformer，沿用与 MiniCPM5-1B 相同的训练方案放大而来。它的 GGUF 量化用一点精度换来小得多的文件。

下载 GGUF 文件
在支持 GGUF 的程序里加载一个
用英文或中文发送提示词
读取文本回复

注意事项：模型卡指向技术报告、维基和在线演示来查看详情。页面本身给出的运行步骤很少，所以请查看你所用程序里的设置。

• License: apache-2.0
• Cost to run: 未提及费用
• Data it reaches: 你下载的文件，以及你输入的提示词

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：llama.cpp
• 参数量：2.5B
• Weights: about 1.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：481,119
• 点赞：393
• 许可证：apache-2.0
• 语言：en, zh
• Quantized versions: 2
• 标签：llama.cpp, gguf, minicpm, minicpm5, llama, text-generation, long-context, tool-calling, on-device, edge-ai, conversational

链接

• 模型：https://huggingface.co/openbmb/MiniCPM5-2B-GGUF
• 文件：https://huggingface.co/openbmb/MiniCPM5-2B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download openbmb/MiniCPM5-2B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。