MiniCPM-OCR Jev GGUF

MiniCPM-OCR Jev GGUF

为文本、公式和表格区域的 OCR 结果打 0 到 1 之间的质量分，提供给 llama.cpp 使用的 GGUF 文件。适合在自己机器上检查 OCR 结果的人。

由 openbmb 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：MiniCPM-OCR Jev GGUF 收录了可直接用于 llama.cpp 的 MiniCPM-OCR Jev 文件，后者是 openbmb 推出的 2B 模型。Jev 自己不读页面，它给三类区域（文本、公式和表格）的 OCR 输出打分，返回 0 到 1 之间的质量值。

适合谁：如果你的团队在做 OCR，并且想自动检查每次识别结果的好坏，它适合你。需要原始权重的人，模型卡会指向基础仓库。

Industry | Who uses it | How they use it | Example
文档 OCR | 搭建 OCR 流程的团队 | 保留识别结果之前先给每个候选打分 | 用分数比较同一个表格区域的两种识别结果
质量控制 | 审核和质检人员 | 通过低分发现质量差的 OCR 结果 | 标出得分低的公式区域
研究 | OCR 研究者 | 在文本、公式和表格区域上评估候选输出 | 给同一区域的多个识别结果打分
软件 | 自己部署模型的开发者 | 运行本地的打分服务 | 单台机器上的一个 llama-server 实例

如果你想要一个自己读文档的模型，可以跳过它，因为它是给识别结果打分的。

用在哪里：

• llama.cpp 和它的 llama-server，在 Windows、macOS 或 Linux 上
• 你自己的电脑，用 Python 下载文件
• 同一项目的其他格式：原始 BF16、AWQ W4A16 和 GPTQ W4A16

Use case | Who | What they get back
给 OCR 结果打分 | OCR 开发者 | 一个 0 到 1 的质量值
过滤质量差的输出 | 质检人员 | 区分低分和高分识别结果的方法
自部署打分服务 | 工程师 | 一个能回答打分请求的本地服务

如何设置：

• Python 和 pip，用于下载文件
• llama.cpp 以及它的 llama-server 程序
• 一个 LLM GGUF 文件和视觉投影文件，后者是必需的
• 你所选档位需要的磁盘空间，从约 1 GB 到约 3.8 GB

1. 安装 Hugging Face hub 包。
2. 把模型文件下载到你的电脑。
3. 用你选的档位和投影文件启动 llama-server。

pip install -U huggingface_hub
hf download openbmb/MiniCPM-OCR-Jev-gguf

模型卡的服务命令用的是 Q8_0 档位：

llama-server \
  --model ./MiniCPM-OCR-Jev-Q8_0.gguf \
  --mmproj ./mmproj-model-f16.gguf \
  --host 0.0.0.0 --port 18498 \
  --ctx-size 40960 \
  --n-gpu-layers 999

如何使用：用上面的命令启动服务，然后向它发送打分请求。留意每次响应里的 verdict 字段，因为只有 verdict 为 scored 才说明打分确实进行了。

Tool | What it does
llama-server | 为模型启动一个本地服务
--model | 接收你所选档位的 LLM GGUF 文件
--mmproj | 接收视觉投影文件
--port 18498 | 设置服务监听的端口
--ctx-size 40960 | 设置上下文大小
--n-gpu-layers 999 | 要求把模型层放到 GPU 上
verdict | 响应里的字段，说明打分是否运行

各档位的区别在于大小。F16 是未量化的参考版本，Q8_0 近乎无损，Q4_K_M 是模型卡推荐的最小档位。四个 IQ 档位标注了 imatrix，是最小的文件。

示例：你把一个图像区域和它的 OCR 识别结果（比如一个表格）交给服务。响应会给出一个 0 到 1 的质量值和一个 verdict，只有 verdict 为 scored 时你才可以信任这个值。

新手与专家：这个模型是给 OCR 输出打分，而不是产生输出。第一次尝试时，下载 Q8_0 档位和投影文件，用上面的命令启动服务，再看一眼响应里的 verdict。

在底层，它是一个带独立视觉投影文件的 2B 模型，由 llama.cpp 提供服务，模型卡的示例使用 40960 token 的上下文。同一项目还发布了原始 BF16 权重和两个 4-bit 版本，即 AWQ W4A16 和 GPTQ W4A16，供其他运行环境使用。

OCR 识别结果和它的区域到达
llama-server 加载 GGUF 和投影文件
模型给识别结果打分
返回 0 到 1 的值和 verdict

注意事项：项目有一份 FAQ 和一份 Jev 的 llama.cpp 指南。FAQ 涵盖安装、模型文件、内存需求和异常结果。文件大小，单位 GB：

Title: 文件大小，单位 GB
投影文件，必需: 0.671 GB
F16: 3.776 GB
Q8_0: 2.012 GB
Q6_K: 1.556 GB
Q5_K_M: 1.411 GB
Q4_K_M: 1.274 GB
Q4_0: 1.202 GB
IQ3_XS: 1.027 GB

• License: Apache 2.0，涵盖权重、代码和文档
• Cost to run: 没有提到密钥或付费服务，硬件要你自己准备
• Data it reaches: 从 Hugging Face 下载文件，示例命令用 --host 0.0.0.0 把服务绑定到所有网络接口，在共享网络上请检查防火墙
• Not for: 自己读文档，或者获取原始权重和完整模型卡，那些在基础仓库里

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：llama.cpp
• 参数量：1.9B
• Weights: about 941 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：31,316
• 点赞：22
• 许可证：apache-2.0
• 语言：en, zh
• 基于：openbmb/MiniCPM-OCR-Jev
• 标签：llama.cpp, gguf, minicpm-ocr, quality-assessment, multimodal, quantized, image-text-to-text, decision-model, feature-extraction

链接

• 模型：https://huggingface.co/openbmb/MiniCPM-OCR-Jev-gguf
• 文件：https://huggingface.co/openbmb/MiniCPM-OCR-Jev-gguf/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download openbmb/MiniCPM-OCR-Jev-gguf

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。