Laya Vision

Laya Vision

针对一张图像，以选项、是非概率或评分等级的形式一次性回答问题，还能根据屏幕像素玩简单的游戏，有 201M 参数。适合构建图像分诊的开发者。

由 thaitea 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Laya Vision 查看一张图像和一条可选的备注，用数字而不是句子回答一组问题。每个问题的回答形式由你定：从列表里选一个选项、回答“是”的概率，或者在你定义的量表上打分。模型不生成文字，同样的方法也让它能玩简单的游戏，屏幕就是图像，按键就是选项。

适合谁：它适合想要对图片快速得到带分数的判断的开发者和研究人员，比如按损坏程度给照片分类，或者回答看图问答题。

行业 | 谁在用 | 怎么用 | 例子
电商 | 支持团队 | 给退货或损坏商品的照片分类 | 给损坏程度从无到完全损毁打分
运营 | 工作流构建者 | 对一张照片提出是非问题 | 检查照片是不是在户外拍的
研究 | 视觉研究人员 | 测试关于图像的选择题 | 运行模型卡里的 A-OKVQA 和 ScienceQA 检查
游戏 AI | 强化学习研究人员 | 根据屏幕控制简单的游戏 | 根据像素玩 Atari Freeway

如果你需要书面的图片说明或很长的回答，或者要商业使用，可以跳过它，因为它不写文字，而且许可是非商业的。

用在哪里：

• Windows、macOS 或 Linux 上的 Python 脚本和服务
• 装有 torchvision 的 laya，从项目的代码仓库安装
• 需要读取图像并返回概率的实验

用例 | 谁用 | 得到什么
损坏评分 | 支持团队 | 在你定义的评分标准上的一个等级
商品分类 | 运维人员 | 你列出的类别中排名最高的选项
是非检查 | 开发者 | 答案为“是”的概率

如何设置：

• Python
• laya 包和 torchvision，从项目的代码仓库安装
• Pillow 图像库，因为示例代码用它打开图像
• 完整精度权重需要约 805 MB 的空间

1. 克隆代码仓库，并用可编辑模式连同 torchvision 一起安装。模型卡给出了一行命令，其中带有网址，所以请从那里复制。
2. 可以选择用 hub 命令下载模型文件。
3. 用 laya.load_vlm 按名字加载模型。
4. 用一张图像、一条可选的备注和你的问题调用 predict。

pip install -U huggingface_hub
hf download thaitea/laya-vision

如何使用：模型卡的代码加载模型，并针对一张照片问三个问题，还带着客户的一条备注。想让权重保持不变，就给 laya.load_vlm 传一个 revision。

import laya
from PIL import Image

agent = laya.load_vlm("thaitea/laya-vision")
result = agent.predict(
    {"image": Image.open("photo.jpg"), "note": "customer says it arrived broken"},
    {
        "damage":   {"type": "score",  "instructions": "How much damage does the item show?",
                     "criteria": ["none", "cosmetic: scratches or dents", "functional: parts broken or missing", "destroyed"]},
        "category": {"type": "choice", "instructions": "What kind of item is this?",
                     "criteria": ["electronics", "clothing", "furniture", "food", "other"]},
        "outdoors": {"type": "noul",   "instructions": "Was the photo taken outdoors?"},
    },
)
a = result["answers"]
a["damage"]["score"], a["category"]["choice"], a["outdoors"]["noul"]   # expected level 0-3, top option, P(true)

工具 | 作用
laya.load_vlm | 按名字加载模型，可以带一个 revision
agent.predict | 针对一张图像和一条备注回答你的那组问题
choice | 选出排名最高的选项，并给出其他选项的概率
noul | 给出是非题回答“是”的概率
score | 给出在你写的评分标准上的一个等级

示例：你发送一张照片，备注是客户说商品到货时是坏的。你问它显示出多大程度的损坏、是哪种商品，以及是不是在户外拍的。你会得到一个损坏等级、排名最高的类别，以及照片是在户外拍的概率。

新手与专家：这个模型看一张图片，用数字而不是句子来回答，模型卡说你可以直接按字面使用这些概率。第一次可以用模型卡的代码，配上你自己的一张照片。

从底层看，它是把 SmolVLM-256M-Instruct 的 30 层语言层砍到 20 层，一共有 201M 参数。训练用了 2 小时，用到的是问答样本和游戏画面。代码仓库里的一个自动研究循环找到了这个检查点。上一个检查点有 237M 参数，没有做过游戏训练。

输入图像和可选的备注
视觉语言模型，一次推理
每个问题都打分
输出选择、是非或等级

注意事项：

Title: 验证集上的准确率
A-OKVQA: 59.8 %
ScienceQA image subset: 82.4 %
VQAv2 yes/no: 71.4 %

Title: 34 个验证集的完整测试，本模型与上一个检查点
指标 | 本模型 | 上一个检查点
参数 | 201M | 237M
59,427 个问题上的准确率 | 69.1% | 69.3%
34 个集合上的平均准确率 | 71.6% | 71.9%
校准误差，越低越好 | 0.041 | 0.064
在 L4 上的相对延迟 | 0.83x | 1.00x

Title: 游戏得分，随机玩是 0，专家是 1
游戏 | 归一化得分
ViZDoom basic | 0.99
Atari Freeway | 0.81
Acrobot | 0.76
MountainCar | 0.64
Maze 4x4 | 0.32
Atari Breakout | 0.20
Snake 10x10 | 0.17
Maze 6x6 | 0.02
CartPole | -0.01
LunarLander | -0.44
平均 | 0.35

• VQAv2 的划分是按图像重新划分的，所以不能和已发布的 VQAv2 数字相比。
• 和上一个检查点相比，34 个集合里有 23 个差距在一个百分点之内，3 个领先，8 个落后，最大的下降出现在最小的集合上。
• 更早的检查点没有做过游戏训练，它在同一个游戏基准上的平均分是 -0.04。
• 模型卡称它是实验性研究，它是 Laya 的一个独立分支。
• License: CC BY-NC-SA 4.0
• Cost to run: 未提到，不过完整精度权重约占 805 MB
• Data it reaches: 除了你给它的图像和备注外未提到其他内容
• Not for: 商业使用，或者写文字，因为它只返回带分数的回答

Hugging Face 上的数据（2026年11月13日）

• 任务：visual question answering
• 框架：laya
• 参数量：201M
• Weights: about 805 MB in F32; about 101 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：0
• 点赞：54
• 许可证：cc-by-nc-sa-4.0
• 语言：en
• 基于：HuggingFaceTB/SmolVLM-256M-Instruct
• Fine-tunes: 2
• 标签：laya, safetensors, calibration, decision-model, vision, smolvlm, games, visual-question-answering

链接

• 模型：https://huggingface.co/thaitea/laya-vision
• 文件：https://huggingface.co/thaitea/laya-vision/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download thaitea/laya-vision

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。