Dolphin

Dolphin

读取文档页面图像，按阅读顺序分两个阶段提取其中的文字、表格、公式和图表。一个紧凑的 398M 模型，适用于中文和英文文档。

由 ByteDance 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Dolphin 是 ByteDance 的文档图像解析模型。它会查看一个混合了文字段落、图表、公式和表格的页面，并把它变成结构化内容。它分两个阶段工作，先分析页面布局，再解析每个元素。

适合谁：它适合需要从扫描或拍摄的文档里提取文字、表格和公式的开发者和团队。记录里列出的语言是中文和英文。

Title: 谁在用
Industry | Who uses it | How they use it | Example
文档处理 | 后端开发者 | 把页面图像转换成结构化文字 | 逐页解析一份扫描的报告
研究 | 数据团队 | 从论文里提取公式和表格 | 从论文页面中取出一个表格
业务运营 | 自动化开发者 | 读取表单和文件里的段落与表格 | 解析一张单独的表格图像

只处理纯文本文件、没有页面图像的人可以跳过它。

用在哪里：

• 使用 transformers 库的 Python
• 作者的 GitHub 项目，里面有使用脚本
• Windows、macOS 或 Linux，用来下载文件

Title: 主要用途
Use case | Who | What they get back
整页解析 | 开发者 | 整个页面的元素，按阅读顺序排列
元素解析 | 数据团队 | 一张段落、表格或公式图像里的内容
版面分析 | 研究人员 | 按自然阅读顺序排列的页面元素序列

如何设置：

• 你电脑上的 Python
• huggingface_hub 包
• 作者的 GitHub 仓库，里面有演示脚本

1. 安装 Hugging Face 的 hub 包。
2. 把模型文件下载到你的电脑。
3. 打开作者的仓库，按里面的使用说明操作。

pip install -U huggingface_hub
hf download ByteDance/Dolphin

如何使用：模型卡把你引到作者的 GitHub 仓库查看详细用法。它提到两种运行模型的方式，并用自然语言提示词来控制解析任务。

Title: 两种解析方式
Tool | What it does
整页解析 | 处理整张文档图像
元素解析 | 处理一张元素图像，比如段落、表格或公式

示例：你把一张含有段落和表格的文档页面图像交给整页解析。模型先按阅读顺序排出页面元素，再逐个解析。模型卡没有给出示例输出，所以请对照你的页面检查结果。

新手与专家：你可以把它想成一个读页面图像、又懂版面的阅读器。第一次尝试可以下载文件，再用作者仓库里的整页解析方式处理一页清晰的文档。

对于专家来说，它是一个视觉编码器加解码器的模型，用 Swin Transformer 编码器和 MBart 文本解码器。它在 Transformers 里实现为 VisionEncoderDecoderModel。第二阶段用异构锚点和特定任务的提示词并行解析元素，作者认为这带来了效率。

页面图像输入
阶段一按阅读顺序排出元素
阶段二并行解析元素
输出结构化内容

注意事项：

• Usage lives in the repo: 模型卡本身没有给出运行代码，只给了一个指引。
• Languages: 列出的语言是中文和英文。
• License: MIT。
• Cost to run: 来源未提及，模型很小，只有 398M 参数。
• Data it reaches: 你交给它的文档图像，以及从 Hugging Face 下载的文件。
• Not for: 没有页面图像的纯文本。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：398M
• Weights: about 795 MB in F16; about 199 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：469
• 点赞：521
• 许可证：mit
• 语言：zh, en
• Quantized versions: 2
• Fine-tunes: 3
• 标签：transformers, safetensors, vision-encoder-decoder, image-text-to-text, document-parsing, document-understanding, document-intelligence, layout-analysis, table-extraction, multimodal, vision-language-model

链接

• 模型：https://huggingface.co/ByteDance/Dolphin
• 文件：https://huggingface.co/ByteDance/Dolphin/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ByteDance/Dolphin

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。