Falcon OCR

Falcon OCR

用一个小型 270M 参数模型读取文档图片，返回文字、LaTeX 公式或 HTML 表格，支持扫描件、收据和手写内容。

由 tiiuae 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Falcon OCR 用一个 270M 参数的模型读取文档图片，从第一层起就把图像块和文字混在一起处理。给它一张图片，它会输出普通文字、LaTeX 公式或 HTML 表格。

大多数 OCR 系统把视觉编码器接到一个独立的文字解码器上。Falcon OCR 用同一个 Transformer 处理两者，你通过类别设置来切换任务，而不是增加模块。

适合谁：需要从图片里取出文档文字、表格或公式的开发者，他们更愿意调用一个小模型，而不是自己拼一条流水线。

行业 | 谁在用 | 怎么用 | 例子
财务与行政 | 后台团队 | 把收据和表单变成文字 | 用 plain 类别处理一张扫描的收据
档案 | 图书管理员和档案员 | 数字化历史和扫描页面 | 读取一页书籍扫描件
科学与教育 | 研究人员和教师 | 把论文和试卷里的公式提取成 LaTeX | 对拍下来的公式使用 formula 类别
软件 | 开发者 | 一次模型调用就加上 OCR | 拿到 HTML 格式的表格，用于数据流水线

想要现成桌面 OCR 应用的人可以略过它，因为它是需要你用代码调用的 Python 模型。

用在哪里：

• 装有 transformers 和 PyTorch 2.5 或更新版本的 Python 脚本
• Docker 里的 vLLM 服务器，使用模型卡链接的镜像
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

使用场景 | 谁用 | 得到什么
读取一页扫描件 | 开发者 | 页面文字，作为一个字符串
提取表格 | 数据团队 | HTML 格式的表格
提取公式 | 研究人员 | LaTeX 格式的公式

如何设置：你需要 Python 和 PyTorch 2.5 或更新版本，因为模型用到了 FlexAttention。

• 带 pip 的 Python
• PyTorch 2.5 或更新版本
• 一张你想读取的文档图片文件

1. 用 pip 安装这些包。
2. 用 transformers 加载模型。模型卡把 trust_remote_code 设为 True，这会运行仓库自带的代码。
3. 用 Pillow 打开你的图片并调用 generate。

pip install "torch>=2.5" transformers pillow einops

第一次调用可能会慢一些，因为 torch.compile 要构建优化过的内核。如果只想获取文件，Hugging Face 给了这两条命令。

pip install -U huggingface_hub
hf download tiiuae/Falcon-OCR

如何使用：加载模型，打开图片，调用 generate。不指定类别时，它按 plain 输出读取整页，你也可以选一个类别来决定格式。

import torch
from PIL import Image
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
    "tiiuae/Falcon-OCR",
    trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
image = Image.open("document.png")
texts = model.generate(image)  # default category is "plain"
print(texts[0])

texts = model.generate(image, category="text")     # plain text
texts = model.generate(image, category="formula")  # LaTeX
texts = model.generate(image, category="table")    # HTML table

还有一些类别名对应页面部分，比如页眉、页脚、标题、图注、脚注和列表项。这个函数返回一个列表，每张图片对应一个字符串。

工具 | 作用
model.generate | 读取一张图片或一组图片，每张图片返回一个字符串
category="text" | 以普通文字返回文本
category="formula" | 以 LaTeX 返回公式
category="table" | 以 HTML 返回表格

示例：你用 Image.open("document.png") 打开一张拍下来的发票，再调用 model.generate(image, category="table")。你会得到一个只有一个字符串的列表，这个字符串里是用 HTML 写的发票表格。

新手与专家：把它看作读页面图片的阅读器。你交给它一张图片，告诉它要文字、公式还是表格，它就把结果以文字形式给你。第一次尝试可以对一张清晰的扫描件运行上面的短脚本。

从底层看，图像块和文字 token 共用一个参数空间。图像 token 双向关注，文字 token 在看到图像的前提下按因果方式解码。1.5 版本用 GRPO 做了后训练，文字用编辑距离，公式用 LaTeX 有效性，表格用 TEDS，循环、遗漏和输出过长则奖励为零。

打开文档图片
选一个类别，比如 table
调用 model.generate
每张图片读取一个输出字符串

注意事项：1.5 更新扩大了覆盖范围，包括历史扫描件、手写、收据、杂志、书籍扫描、试卷和难处理的表格，并力求减少编造的文字和重复的短语。

• 速度：作者报告在他们自己的 vLLM 环境里，吞吐量通常比 0.9B 级 OCR 模型高 2 到 3 倍，具体取决于序列长度和批大小
• 规模：270M 参数，Safetensors 格式，F32 约 1.1 GB，4-bit 约 135 MB（估算）
• 变体：Hugging Face 列出别人做的 2 个量化版本和 5 个微调版本
• License: Apache 2.0
• Cost to run: 没有提到 API 密钥或付费服务
• Data it reaches: 你传入的图片，它们留在你的机器上，以及你从 Hugging Face 下载的模型文件
• Not for: 模型卡除许可证外没有列出其他限制

Hugging Face 上的数据（2026年11月13日）

• 任务：image to text
• 框架：transformers
• 参数量：270M
• Weights: about 1.1 GB in F32; about 135 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：3,667
• 点赞：178
• 许可证：apache-2.0
• Quantized versions: 2
• Fine-tunes: 5
• 标签：transformers, safetensors, falcon_ocr, text-generation, falcon, vision-language, document-understanding, v1.5, image-to-text

链接

• 模型：https://huggingface.co/tiiuae/Falcon-OCR
• 文件：https://huggingface.co/tiiuae/Falcon-OCR/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download tiiuae/Falcon-OCR

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。