Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
通过起草 token、再让主模型一次性验证,加快 MiniCPM-OCR 1.0 的解码。它是草稿头,不是独立的 OCR 模型,适合自己部署文档解析的人。
MiniCPM-OCR 1.0 DSpark 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download openbmb/MiniCPM-OCR-1.0-DSpark
MiniCPM-OCR 1.0 DSpark 是 openbmb 为 MiniCPM-OCR 1.0 文档识别模型做的小型草稿头,用于推测解码。它一次提出多个 token,主模型一次性验证。它自己做不了 OCR,所以要和主 MiniCPM-OCR 1.0 模型一起加载。
如果你已经在运行 MiniCPM-OCR 1.0,并且希望文档处理得更快,它适合你。研究草稿模型的人也可以读一读它的设计。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 文档处理 | 需要解析大量文档的团队 | 把草稿头和 MiniCPM-OCR 1.0 配合使用,更快完成文档 | 把一批扫描页转成 Markdown 或 JSON |
| 推理工程 | 自己部署模型的工程师 | 把草稿头加入主检查点的服务环境 | 加上这个草稿头的自部署 MiniCPM-OCR 1.0 服务 |
| 研究 | 研究推测解码的人 | 研究小型草稿头是怎么搭建的 | 读它的五个草稿层和每次 15 个草稿 token 的设计 |
如果你想要能独立运行的 OCR 模型,可以跳过它,因为这个草稿头做不到。
| Use case | Who | What they get back |
|---|---|---|
| 更快的文档解析 | 页数很多的团队 | 同样的解析任务,解码时间更短 |
| 自部署 OCR 服务 | 工程师 | 由主模型验证草稿 token 的服务环境 |
| 草稿模型研究 | 研究人员 | 层数和词表大小都有记录的检查点 |
pip install -U huggingface_hub hf download openbmb/MiniCPM-OCR-1.0-DSpark
你不用自己调用草稿头。minicpm-ocr SDK 分两个阶段解析文档,服务配置了草稿头后,它会加快第二阶段。
| Tool | What it does |
|---|---|
| minicpm-ocr SDK | 运行两阶段文档解析,并生成最终的 Markdown 或 JSON |
| PP-DocLayoutV3 | 找出文本、表格、公式等区域,并确定阅读顺序 |
| MiniCPM-OCR 1.0 service | 读取每个裁剪出的区域并返回内容 |
| DSpark head | 起草 token,由主模型一次性验证 |
如果你手动加载草稿头,有一点需要注意。d2t 张量存的是差值,使用前要把它转换成绝对的 token ID:
d2t[i] + i
文件 local-to-target.json 里有正确的绝对 ID,可以用来核对。
你把一页扫描的报告发给 SDK。它把页面切成多个区域,服务用与区域类型相符的提示词读取每个区域,你会按阅读顺序拿到 Markdown 或 JSON。
这是个辅助模块,不是用来和你对话的模型。它先猜接下来的几个 token,让主模型一起检查,而不是一个一个地生成。第一次尝试时,先用项目为主模型提供的在线平台,需要速度时再转向自部署。
在底层,这个草稿头有 5 层,每次前向传播提出 15 个 token,并读取目标模型五个层的隐藏状态。它的输出词表从 248,100 的输入词表裁剪到 114,688 个 token,由 d2t 映射把两者联系起来。模型卡报告说,接上草稿头后端到端处理效率提高了 55%。
下面是这个草稿头公布的规格和速度数据。
| Property | Value |
|---|---|
| 目标模型 | MiniCPM-OCR 1.0 (1.3B) |
| 草稿参数量 | 296,837,889 |
| 草稿层数 | 5 |
| 每次前向传播的草稿 token 数 | 15 |
| 检查点精度 | BF16 |
通过起草 token、再让主模型一次性验证,加快 MiniCPM-OCR 1.0 的解码。它是草稿头,不是独立的 OCR 模型,适合自己部署文档解析的人。
由 openbmb 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:MiniCPM-OCR 1.0 DSpark 是 openbmb 为 MiniCPM-OCR 1.0 文档识别模型做的小型草稿头,用于推测解码。它一次提出多个 token,主模型一次性验证。它自己做不了 OCR,所以要和主 MiniCPM-OCR 1.0 模型一起加载。
适合谁:如果你已经在运行 MiniCPM-OCR 1.0,并且希望文档处理得更快,它适合你。研究草稿模型的人也可以读一读它的设计。
Industry | Who uses it | How they use it | Example
文档处理 | 需要解析大量文档的团队 | 把草稿头和 MiniCPM-OCR 1.0 配合使用,更快完成文档 | 把一批扫描页转成 Markdown 或 JSON
推理工程 | 自己部署模型的工程师 | 把草稿头加入主检查点的服务环境 | 加上这个草稿头的自部署 MiniCPM-OCR 1.0 服务
研究 | 研究推测解码的人 | 研究小型草稿头是怎么搭建的 | 读它的五个草稿层和每次 15 个草稿 token 的设计
如果你想要能独立运行的 OCR 模型,可以跳过它,因为这个草稿头做不到。
用在哪里:
Use case | Who | What they get back
更快的文档解析 | 页数很多的团队 | 同样的解析任务,解码时间更短
自部署 OCR 服务 | 工程师 | 由主模型验证草稿 token 的服务环境
草稿模型研究 | 研究人员 | 层数和词表大小都有记录的检查点
如何设置:
pip install -U huggingface_hub
hf download openbmb/MiniCPM-OCR-1.0-DSpark
如何使用:你不用自己调用草稿头。minicpm-ocr SDK 分两个阶段解析文档,服务配置了草稿头后,它会加快第二阶段。
Tool | What it does
minicpm-ocr SDK | 运行两阶段文档解析,并生成最终的 Markdown 或 JSON
PP-DocLayoutV3 | 找出文本、表格、公式等区域,并确定阅读顺序
MiniCPM-OCR 1.0 service | 读取每个裁剪出的区域并返回内容
DSpark head | 起草 token,由主模型一次性验证
如果你手动加载草稿头,有一点需要注意。d2t 张量存的是差值,使用前要把它转换成绝对的 token ID:
d2t[i] + i
文件 local-to-target.json 里有正确的绝对 ID,可以用来核对。
示例:你把一页扫描的报告发给 SDK。它把页面切成多个区域,服务用与区域类型相符的提示词读取每个区域,你会按阅读顺序拿到 Markdown 或 JSON。
新手与专家:这是个辅助模块,不是用来和你对话的模型。它先猜接下来的几个 token,让主模型一起检查,而不是一个一个地生成。第一次尝试时,先用项目为主模型提供的在线平台,需要速度时再转向自部署。
在底层,这个草稿头有 5 层,每次前向传播提出 15 个 token,并读取目标模型五个层的隐藏状态。它的输出词表从 248,100 的输入词表裁剪到 114,688 个 token,由 d2t 映射把两者联系起来。模型卡报告说,接上草稿头后端到端处理效率提高了 55%。
页面进入 SDK
版面模型找出区域和阅读顺序
草稿头提出 token
主模型一次性验证
输出 Markdown 或 JSON
注意事项:下面是这个草稿头公布的规格和速度数据。
Property | Value
目标模型 | MiniCPM-OCR 1.0 (1.3B)
草稿参数量 | 296,837,889
草稿层数 | 5
每次前向传播的草稿 token 数 | 15
检查点精度 | BF16
Title: 接上草稿头后的吞吐量,相对其他系统的倍数
PaddleOCR-VL-1.6: 1.49 倍
MinerU2.5 Pro: 3.62 倍
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download openbmb/MiniCPM-OCR-1.0-DSpark
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| MiniCPM-OCR 1.0 DSpark 本页 | 12,549 | 14 | 297M | apache-2.0 | |
| Spark-X2.6-4B-DSpark-GGUF共有 dspark · draft-model · speculative-decoding | 4,008 | 29 | 624M | apache-2.0 | |
| Spark-X2.6-1.7B-DSpark-GGUF共有 dspark · draft-model · speculative-decoding | 969 | 10 | 345M | apache-2.0 | |
| MiniCPM-V-4.7-1B-gguf共有 dspark · speculative-decoding · multimodal | 168,636 | 114 | 1B | apache-2.0 | |
| Qwen3.8-27B-DFlash2共有 draft-model · speculative-decoding · qwen3 | 429,580 | 301 | 1.9B | apache-2.0 | |
| Qwen3.8-Flash-Next-DFlash2共有 draft-model · speculative-decoding · qwen3 | 58,226 | 84 | 603M | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。