JDI-Decision-V1

JDI-Decision-V1

以选项和概率回答关于文本和图像的结构化问题，是京东工业推出的决策系统，基于 Qwen3.8-27B 并内置 OCR。适合需要分派或分类请求的团队。

由 JoyIndustrial 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：JDI-Decision-V1 来自京东工业。它是一个处理文本和图像的决策系统，以 Qwen3.8-27B 模型为起点，并加入了 D3 决策设计上的改动。它返回结构化的选择以及每个选项的概率。内部有四个部分：视觉编码器、决策主干、FP32 读出，以及保持冻结的文字识别组件 PaddleOCR v5。这个识别组件由百度飞桨团队开发。

适合谁：需要让模型在固定选项中做选择、请求里同时有文字和图像的开发者，比如一张路牌或表单的照片。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 加入一个同时读取图像和文字的决策步骤 | 根据路牌照片在 STOP 和 GO 之间选择
运营 | 工作流团队 | 按附带图像的内容分派请求 | 对上传的文档图像分类
研究 | 评测研究人员 | 复现卡片报告的基准运行 | 按复现指南重跑公开视觉测试集

如果你没有 CUDA GPU，可以跳过它。

用在哪里：

• 带 CUDA GPU 的机器上的 Python 3.12
• 在 Windows、macOS 或 Linux 上下载文件
• 开启远程代码的 Hugging Face AutoModel 加载

Use case | Who | What they get back
图像问题 | 开发者 | 一个选定的选项及其概率
文字加图像的决策 | 工作流团队 | 综合两种输入得出的结构化答案
基准复现 | 研究人员 | 可与已报告的公开分数对比的结果

如何设置：

• Python 3.12
• 一块 CUDA GPU，因为每个请求都在一块 GPU 上运行
• 仓库里的复现指南，它会安装环境并准备一张示例图像

1. 安装 Hugging Face hub 包。
2. 下载这个仓库。
3. 按复现指南搭建环境和 OCR 设置。

pip install -U huggingface_hub
hf download JoyIndustrial/JDI-Decision-V1

安装脚本会从飞桨自己的托管处下载 OCR 压缩包，并在解压任何内容之前校验 SHA256 哈希值。

如何使用：通过 ComboEngine 入口运行完整系统，传入一个 state、带选项的一组问题和一个图像列表。卡片自带的示例问路牌上写了什么，选项是 STOP 和 GO。

# First follow REPRODUCE.md to install the environment and prepare example.png.
source .venv-ocr/bin/activate
CUDA_VISIBLE_DEVICES=0 python - <<'PY'
from ocr_inference import ComboEngine
engine = ComboEngine()
try:
    response, raw = engine(
        state={},
        questions={"answer": {"type": "choice", "instructions": "What does the sign say?",
                              "criteria": {"A": "STOP", "B": "GO"}}},
        images=["example.png"],
    )
    print(response)
finally:
    engine.close()
PY

Tool | What it does
ocr_inference.ComboEngine | 完整系统的入口，包含 OCR
inference.D3Engine | 内部的决策模型，不含系统的 OCR 步骤
AutoModel.from_pretrained | 加载完整系统，需开启远程代码

示例：你发送一张路牌照片，问它上面写了什么，选项是 STOP 和 GO。模型返回结构化的答案，并给出每个选项的概率。

新手与专家：如果你是新手，先在示例图像上运行卡片里的例子。在读懂仓库会运行什么之前，不要使用远程代码加载。

图像先被解码、转成 RGB，并缩放到像素上限以内。然后两个分支在同一块 GPU 上并行运行。视觉编码器提取特征，冻结的 OCR 组件读取文字，OCR 文字被加入请求状态，但不会取代图像数据。接着决策主干读取全部输入，FP32 读出给出概率。

解码图像、转成 RGB、缩放
视觉编码器和 OCR 并行运行
OCR 文字加入请求状态
决策主干读取所有输入
FP32 读出给出答案和概率

注意事项：

• 卡片报告在 Decision Index Vision 公开测试集上为 79.7313，并称这是自行报告的分数，不是经确认的排行榜名次
• 私有测试集上的结果，以及 RTX PRO 6000 上的延迟检查，都还没有完成
• License: Apache 2.0，而 OCR 权重和飞桨构建头文件沿用上游条款
• Cost to run: 没有列出费用，GPU 由你自己准备
• Data it reaches: 你发送的文本和图像，以及安装脚本下载的 OCR 压缩包
• Not for: 经确认的排行榜声明，因为这个分数是自行报告的

Title: Request latency on two H200 workers
Mean: 326.0 ms
P50: 263.4 ms
P80: 401.1 ms
P90: 583.0 ms

Hugging Face 上的数据（2026年11月13日）

• 框架：pytorch
• 参数量：26.1B
• Weights: about 52.2 GB in BF16; about 13 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：249
• 点赞：12
• 许可证：cc-by-nc-4.0
• 标签：pytorch, safetensors, qwen3_5, decision-model, multimodal, paddleocr

链接

• 模型：https://huggingface.co/JoyIndustrial/JDI-Decision-V1
• 文件：https://huggingface.co/JoyIndustrial/JDI-Decision-V1/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download JoyIndustrial/JDI-Decision-V1

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。