Unlimited-OCR-2-GGUF

Unlimited-OCR-2-GGUF

Unlimited-OCR-2 文档 OCR 模型的 GGUF 文件，提供 BF16、Q8_0 和 Q4_K_M，并附视觉投影器。只能在应用了仓库补丁的 llama.cpp 里运行，适合在本地读取扫描和多页文档的人。

由 RX5950XT 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 baidu/Unlimited-OCR-2 的 GGUF 版本，一个从图片中读取文档页面的 OCR 模型。它提供 BF16、Q8_0 和 Q4_K_M，另有视觉投影器文件和多模态 imatrix。它只能在应用了仓库内附补丁的 llama.cpp 版本里运行。

适合谁：适合需要在自己机器上读取扫描页或多页文档、并且愿意编译带补丁的 llama.cpp 的人。模型卡说它的测试用了中文和英文页面。

Industry | Who uses it | How they use it | Example
文档处理 | 后台团队 | 把扫描页读成带版面标签的文字 | 解析一页扫描件
法律与金融 | 档案团队 | 在本地处理多页文档 | 解析一份三页的报告
软件 | OCR 开发者 | 通过 llama.cpp 工具运行本地文档解析器 | 在脚本里调用命令行工具
研究 | 量化研究人员 | 研究量化如何影响 OCR 准确率 | 把 Q8_0 和 Q4_K_M 与 BF16 对比

如果你想在 LM Studio 或 Ollama 里加载它，可以跳过，因为模型卡说这些工具无法加载这些文件。

用在哪里：

• 应用了仓库补丁的 llama.cpp，使用其中的 llama-mtmd-cli 和 llama-server 工具
• Windows，通过一个叠加在官方 llama.cpp Windows 包之上的小型预编译叠加包
• Linux 和 macOS，需要自己构建带补丁的 llama.cpp

Use case | Who | What they get back
单页解析 | 文档团队 | 带版面标签和框坐标的识别文字
多页解析 | 档案团队 | 一次运行得到文档每一页的文字
自定义量化 | 进阶用户 | 用多模态 imatrix 文件做出你自己的量化版本

如何设置：

• 安装好 Python 和 pip，用来下载文件
• git、cmake 和 C++ 编译器，Windows 上是带 C++ 工具的 Visual Studio 2022，Linux 上是常规的 C++ 构建工具包，macOS 上是 Xcode 命令行工具
• 如果想用 NVIDIA 显卡，还需要 CUDA Toolkit
• 官方 llama.cpp 源码的 b11913 版本，这是模型卡测试过的版本

1. 安装 Hugging Face hub 包并下载文件。
2. 下载官方 llama.cpp 源码，并切换到 b11913 版本。
3. 应用本仓库里的补丁文件，然后构建这两个工具。

pip install -U huggingface_hub
hf download RX5950XT/Unlimited-OCR-2-GGUF

hf download RX5950XT/Unlimited-OCR-2-GGUF llama.cpp-patch/unlimited-ocr2.patch --local-dir .

git apply /path/to/unlimited-ocr2.patch
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j --target llama-mtmd-cli llama-server

模型卡说，没有 NVIDIA 显卡就去掉 CUDA 参数，macOS 会自动使用 Metal。

如何使用：用语言模型文件、视觉投影器文件和你的页面图片运行 llama-mtmd-cli。模型卡说每种精度都要搭配投影器文件。这条单页命令与原版模型的默认模式一致。

./build/bin/llama-mtmd-cli \
  --jinja --temp 0 -c 32768 -n 8000 \
  --image page.png \
  -p "<PAGE><__media__>Multi page parsing."

先在 它的密钥设置 里填上你自己的值。

Tool | What it does
llama-mtmd-cli | 在命令行里对一张或多张图片运行模型
llama-server | 通过本地服务器提供模型服务
git apply | 把 Unlimited-OCR-2 的支持加进 llama.cpp
hf download | 获取模型文件，或单个文件比如补丁

示例：你用 Q8_0 和名为 page.png 的扫描页运行这条命令。模型会输出带版面标签和框坐标的识别文字。对于多页，模型卡给出了第二条命令，上下文更大，并带有页面图片列表。

新手与专家：如果你刚接触，请预期要做一些配置工作。下载文件，构建带补丁的 llama.cpp，然后用模型卡推荐的 Q8_0 试一页。把文字和页面对照检查。

专家会注意到补丁存在的原因。解码器与版本 1 相同，但注意力不同，用到二维页面位置编码和稀疏路由注意力。像版本 1 那样转换也能运行，但模型卡测得单页文字匹配只有 5.6%。补丁实现了路由，并让路由器权重保持不量化。

Title: 与 BF16 的平均文字相似度，64 页测试
Q8_0: 99.46 百分比
Q4_K_M: 99.18 百分比

Title: 文件大小
File | Size
BF16 | 5.48 GiB
Q8_0 | 2.92 GiB
Q4_K_M | 2.01 GiB
Vision projector F16 | 787 MiB

下载 GGUF 和投影器文件
应用补丁并构建 llama.cpp
对页面图片运行 llama-mtmd-cli
读取识别出的文字和标签

注意事项：

• Compatibility: 主线 llama.cpp、LM Studio 和 Ollama 无法加载这些文件，因为架构是新的
• Quality: 两种量化版的文字匹配中位数都是 100%，但 Q4_K_M 最差的一页得分是 79.39%
• Q4_K_M recipe: 关键层保持 Q8_0，路由器不量化，所以文件比普通 Q4_K_M 更大
• License: MIT
• Cost to run: 未提及，不需要 API 密钥或账号
• Data it reaches: 会从 Hugging Face 下载文件，并读取你提供的页面图片
• Not for: 在使用主线 llama.cpp 的工具里加载，或用版本 1 的方法转换模型，那样会得到错误输出

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：gguf
• 参数量：2.9B
• Weights: about 1.5 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：8,452
• 点赞：8
• 许可证：mit
• 基于：baidu/Unlimited-OCR-2
• 标签：gguf, llama.cpp, document-parsing, vision-language, unlimited-ocr, quantized, imatrix, image-text-to-text, multilingual, conversational

链接

• 模型：https://huggingface.co/RX5950XT/Unlimited-OCR-2-GGUF
• 文件：https://huggingface.co/RX5950XT/Unlimited-OCR-2-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download RX5950XT/Unlimited-OCR-2-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。