H2O-Lightning-4B

H2O-Lightning-4B

回答关于文档、工单、政策或对话及其配图的类型化决策问题，并给每个选项一个概率。适合想用小模型来判断记录的团队。

由 h2oai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：H2O-Lightning-4B 是 H2O.ai 基于 Qwen3.5-4B 构建的决策模型。你给它一条记录，比如文档、工单、政策或对话，再附上相关的照片、截图、扫描件或图表，然后提一个类型化的问题。它会给每个选项一个概率。

适合谁：适合需要整理或判断记录的团队，他们想要每个判断背后有一个数字，而不是一大段文字。

行业 | 谁在用 | 怎么用 | 例子
客户支持 | 支持团队 | 为附带截图的工单选择类别 | 判断工单属于账单还是技术问题
合规 | 政策审核人员 | 检查关于某份文档的说法是否成立 | 这个条款在不在，是或否
运营 | 流程负责人 | 把记录放到给定的量表上，并给出概率分布 | 给某项内容打一到五分
文档处理 | 后台人员 | 同时读取扫描页和图表以及文字 | 把扫描的表单分到指定类型

如果你想要开放式聊天或长篇写作，可以跳过，因为模型卡只描述了类型化的决策回答。

用在哪里：

• vLLM 服务器，可以是 H2O 自己的 vLLM 0.30.0 构建，也可以是标准 vLLM 0.30.0
• transformers 库，模型就是按它来标注的
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用例 | 谁用 | 得到什么
选择题 | 分流团队 | 每个命名选项的概率
是非题 | 审核人员 | 某个说法为真的概率
打分题 | 质量团队 | 你的量表上的一个等级及其概率分布

如何设置：先准备好这些。

• 带 pip 的 Python，用来下载文件
• 放权重的空间：BF16 约 9.3 GB，4-bit 估计约 2.3 GB
• vLLM 0.30.0，最好是 H2O 的逐请求注意力构建，前面加上它的 shim 文件

1. 用 pip 安装 Hugging Face hub 库。
2. 用 hf 命令下载模型文件。
3. 在模型文件夹里用 serve 脚本启动服务器。
4. 如果无法安装 H2O 的 vLLM 构建，就按下面所示把脚本切换到标准 vLLM。

pip install -U huggingface_hub
hf download h2oai/h2o-lightning-4b

如何使用：启动服务器，然后发给它一条记录、任何图片和一个类型化的问题。默认启动方式对每个请求做双向阅读，这是模型卡推荐的。备用方式是单向阅读并复用前缀缓存，所以繁忙时每秒能处理更多请求。

bash h2o-lightning-4b/serve.sh

TWO_WAY=0 bash h2o-lightning-4b/serve.sh

工具 | 作用
choice | 从你命名的选项中准确选出一个答案
yes/no (noul) | 返回你的说法有多大可能为真
score | 返回你的量表上的一个等级，以及每个等级的概率
serve.sh | 启动模型服务器，默认双向阅读

示例：发送一张附有截图的支持工单，问一个是非题，比如客户是否反映了账单错误。模型会回复这个说法为真的概率，你可以自己设定判断的界限。

新手与专家：如果你是新手，可以把它看作一个能对话的分类器。给它一条记录和一个答案固定的问题，它会告诉你对每个答案有多确定。第一次可以先对一张简短的工单问一个是非题。

如果你熟悉这个领域，模型卡称，在 H2O 的 vLLM 构建前加 shim 的双向阅读，在 231 个 JevBench 公开题目中答对 206 个。标准的单向阅读是 202 个，高负载下跑得更快。模型卡还列出它在 46 个开放权重模型中排 ImageJevBench 综合第一，在 JevBench 榜单 170 个中排第二。这些排名来自作者，而不是独立核实。

记录和图片送达
你加上一个类型化的问题
服务器双向阅读请求
模型给每个选项打分
你得到每个选项的概率

注意事项：

• 规模：4.7B 参数，Safetensors 格式
• 其他版本：其他人做过 6 个量化版本和 9 个微调版本
• 两种服务方式：默认方式是推荐的，备用方式用一部分得分换取吞吐量

Title: 231 个 JevBench 公开题目中的得分数
双向阅读: 206 个
单向备用: 202 个

• License: Apache 2.0
• Cost to run: 未提及，来源没有列出 API 密钥、账号或付费服务
• Data it reaches: 你发给它的记录和图片，由你自己的服务器处理，来源没有提到网络或账号访问
• Not for: 开放式聊天，因为模型卡只涉及类型化的决策问题

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：4.7B
• Weights: about 9.3 GB in BF16; about 2.3 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：10,530
• 点赞：107
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.5-4B
• Quantized versions: 6
• Fine-tunes: 9
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, decision-model, decision-making, calibration, jevbench, multimodal, typed-decisions, conversational

链接

• 模型：https://huggingface.co/h2oai/h2o-lightning-4b
• 文件：https://huggingface.co/h2oai/h2o-lightning-4b/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download h2oai/h2o-lightning-4b

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。