Laya

Laya

用一次约 33 ms 的前向计算，对一条消息、邮件、工单或 JSON 记录里的带类型问题给出校准过的概率，支持 100 多种语言，适合给工单分流和文本分类的开发者。

由 convaiinnovations 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Laya 是一个从不写文字的决策模型。你给它一段内容，比如邮件、工单或 JSON 记录，再加上带类型的问题。它用一次约 33 ms 的前向计算，在 100 多种语言里，为每个问题返回答案和概率。它有 421M 参数。

适合谁：它适合需要对传入文本快速得到可核对答案的开发者，比如该由哪个团队处理、有多紧急。

Industry | Who uses it | How they use it | Example
客户支持 | 支持工程师 | 给工单分流并识别流失风险 | 把一条账单投诉交给账单团队
软件 | 后端开发者 | 在服务里对消息和记录分类 | 一个给每封来信打标签的 API
运维 | IT 团队 | 按紧急程度给请求排序 | 把一份故障报告标成阻塞
全球团队 | 本地化人员 | 用一个模型处理多种语言的消息 | 在同一个队列里分流印地语和西班牙语消息

如果你需要模型写回复或摘要，可以跳过它，因为它只在你定义的答案里做选择。

用在哪里：

• Python，通过 laya 包和它的 Router
• HTTP 服务器，通过 laya serve 扩展
• MCP 服务器，通过 laya mcp 扩展
• LangChain 和 LangGraph，通过 laya langchain 扩展
• ONNX Runtime 和 TileLang GPU 快速路径，通过另外两个扩展

Use case | Who | What they get back
工单分流 | 支持团队 | 一个部门选择及其概率
紧急度打分 | 运维 | 在不紧急、尽快或阻塞这样的量表上的位置
流失检查 | 客户团队 | 客户威胁离开的概率

如何设置：

你需要先准备：

• Python 3.10 或更新版本
• 首次使用时需要联网，因为 Router 那时会下载检查点
• 大约 843 MB 磁盘空间存放 F16 权重，4-bit 估算约 211 MB

1. 用 pip 安装 laya 包。
2. 如果想要服务器、MCP、LangChain、ONNX 或快速 GPU 路径，就加一个扩展。
3. 创建一个 Router，它在你首次使用时获取检查点。

pip install laya

如何使用：写下要判断的文字和一组带类型的问题，然后对 Router 调用 predict。每个问题是选择题、打分题或是非题。Router 会检测语言，并把非英语文本交给多语言检查点。

from laya import Router
router = Router()  # downloads a checkpoint on first use; Router(preload=True) loads all three up front
state = "Hi, we were billed twice for March. Please refund the duplicate today or we will cancel our plan."
questions = {
    "department": {"type": "choice", "instructions": "Which department should handle this?",
                   "criteria": {"billing": "invoices, payments, refunds",
                                "technical": "bugs, outages, system errors",
                                "other": "everything else"}},
    "urgency": {"type": "score", "instructions": "How urgent is this?",
                "criteria": ["not urgent", "soon", "blocking"]},
    "churn_risk": {"type": "noul", "instructions": "Does the user threaten to cancel or leave?"},
}
result = router.predict(state, questions)
print(result["answers"]["department"]["choice"])  # billing
print(result["answers"]["churn_risk"]["noul"])    # probability the answer is yes
print(result["routing"]["model"])                 # english

处理长文档时，请指定多语言检查点并调高上限。

result = router.predict(long_document, questions, model="multilingual", max_len=8192)

Tool | What it does
choice | 从你列出的条件里选一个选项
score | 把答案放在一个有序量表上
noul | 给出是非答案为是的概率
Router | 检测语言，并选择英语或多语言检查点

示例：你传入一封说客户被重复扣费、可能取消的邮件，再配上面三个问题。结果会指出部门是账单，并给出客户有流失风险的概率。没有生成任何文字，也不需要解析。

新手与专家：可以把 Laya 想成一个非常快的分拣员。它读文字，用数字回答固定的问题。第一步可以用你自己的一条短消息运行上面的快速开始。

它是非自回归的，所以一次前向计算就给出所有答案。训练用的是针对严格恰当评分规则的强化学习，这让给出诚实的概率成为获得奖励的唯一办法。

你传入文字和带类型的问题
Router 按语言选择检查点
一次前向计算为每个选项打分
你得到带概率的答案

注意事项：laya-multilingual 的默认输入上限比它的最大值小。

Title: laya-multilingual 的 token 上限
Default limit: 1,024 tokens
With max_len=8192: 8,192 tokens

• 长输入: 到约 4,000 个 token 时，20 个请求里答对 16 到 18 个，超过后是 20 个里 8 到 17 个，所以请在你自己的数据上测试
• 速度: 4,000 个 token 的输入在 Apple GPU 上约需 1.7 s，短输入不受影响
• 其他版本: 列出了其他人做的 91 个量化版本和 218 个微调版本
• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 你传入的文字，以及它首次使用时下载的检查点

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 框架：transformers
• 参数量：421M
• Weights: about 843 MB in F16; about 211 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：18,689
• 点赞：5,956
• 许可证：apache-2.0
• Quantized versions: 92
• Fine-tunes: 221
• 标签：transformers, safetensors, laya, system-one, calibrated-decisions, rlcd, classification, routing, scoring, guardrails, moderation, reinforcement-learning

链接

• 模型：https://huggingface.co/convaiinnovations/laya
• 文件：https://huggingface.co/convaiinnovations/laya/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download convaiinnovations/laya

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。