System One Model

System One Model

基于 Gemma 4 12B 加一个小型决策头，针对一段文字回答是非题、选择题和评分题，并给出每个答案的概率。适合给应用加入快速分类的开发者。

由 stephenlb 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：System One Model 取用 Gemma 4 12B 的编码器和解码器，把通常的 262k 词元输出层换成一个小的向量层，每个答案给出一个 logit。一次前向计算会得到 26 个 logit，再对相关的那几个做 softmax，就回答了每个问题。它处理三种问题类型，叫作 noul、choice 和 score，返回的是概率而不是文字。

适合谁：它适合需要对一段文字快速做出数值判断的开发者，比如给消息分流，或者检查一个是非条件。

行业 | 谁在用 | 怎么用 | 例子
客户支持 | 支持工具开发者 | 用选择题把消息分到某个团队 | 把重复扣款的投诉转给账单团队
运营 | 工作流构建者 | 对同一段文字一次提出好几个是非问题 | 检查一条消息是要求取消还是要求退款
智能体研究 | 研究人员 | 把它当作玩游戏的智能体里的快速决策模型 | 阅读模型卡里的 Mario 和 Tetris 测试用例
评测 | 机器学习工程师 | 把本地决策模型和托管的 API 做对比 | 使用模型卡里 39 个带标签用例的表格

如果你需要生成文字而不是概率，可以跳过它。

用在哪里：

• 装有 transformers 5.17 或更新版本的 Python
• 带 GPU 的机器，比如模型卡测试用的 RTX 5090，或者模型卡也用过的 Apple Silicon Mac
• 按 System One 格式发送请求的客户端，模型卡的对比用的就是这个格式

用例 | 谁用 | 得到什么
是非检查 | 开发者 | 每个问题回答“是”的概率
消息分流 | 支持团队 | 排名最高的团队标签，以及每个选项的概率
等级评分 | 审核人员 | 在一个有序的标准列表上的期望等级

如何设置：

• Python 和 Hugging Face 的 hub 包
• transformers 5.17 或更新版本
• 约 23.9 GB 的 BF16 权重所需的磁盘空间
• 愿意传入 trust_remote_code=True，因为仓库带有自定义代码

1. 安装 Hugging Face 的 hub 包。
2. 下载模型文件。
3. 安装 transformers 5.17 或更新版本。
4. 按下一节所示，在启用远程代码的情况下加载模型。

pip install -U huggingface_hub
hf download stephenlb/system-one-model

如何使用：加载分词器和模型，然后用一个状态文本和一组问题调用 system_one 方法。用 pipeline 一行就能完成同样的调用。回复里有一个 answers 对象，每个问题一项。

from transformers import AutoModelForMultimodalLM, AutoTokenizer

repo = "stephenlb/system-one-model"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForMultimodalLM.from_pretrained(
    repo, trust_remote_code=True, dtype="bfloat16", device_map="auto"
)

result = model.system_one(
    tokenizer,
    state="I was charged twice for order A-104.",
    questions={
        "refund": {"type": "noul", "instructions": "Does the text request a refund?"},
        "team": {
            "type": "choice",
            "instructions": "Which team should handle this?",
            "criteria": {"billing": "Charges", "returns": "Refunds"},
        },
    },
)
print(result["answers"])

from transformers import pipeline

pipe = pipeline("system-one", model=repo, trust_remote_code=True, dtype="bfloat16", device_map="auto")
print(pipe({"state": "I was charged twice.", "questions": {...}}))

工具 | 作用
noul | 对是非题返回回答“是”的概率
choice | 返回排名最高的标签，以及每个选项的概率
score | 给出在有序标准上按概率加权的平均等级
temperature | 默认是 0.7，用来让概率更尖锐或更平缓

示例：你传入一条要求取消订阅并退还本月费用的消息，再加三个关于退款、取消和体育的是非问题。模型卡里的真实结果是退款约 0.9996，取消约 0.9998，体育约 0.0023。

新手与专家：这个模型不写回复，而是读一段文字，告诉你每个答案有多大可能。noul 问题就是是非题，那个数字是回答“是”的可能性。第一次可以用 pipeline 的代码，问两个是非问题。

从底层看，语言模型的头被换成了一个低维向量，所以一次前向计算就给每个答案打分。模型卡测试了带 8 个结尾的前缀缓存，其中没有任何决策改变，批处理用了 64.3 毫秒，不批处理是 270 毫秒。一个含 5 个问题的请求用了 166 毫秒。

输入状态文本和问题
Gemma 4 12B 的编码器和解码器
小型头为每个答案输出一个 logit
Softmax 给出每个问题的概率

注意事项：

Title: RTX 5090 上预热后单个问题的延迟
p50: 34.1 ms
p95: 35.0 ms
max: 36.3 ms

指标 | 本模型 | Strands Decider 2B v19 | 托管的 Jev API
choice 准确率 | 11/12 | 12/12 | 12/12
score 准确率 | 11/12 | 5/12 | 12/12
1 个问题的 p50 延迟 | 117 ms | 96 ms | 144 ms
3 个问题的 p50 延迟 | 332 ms | 121 ms | 164 ms

• 这个对比只是 39 个手写带标签用例的小样本，所以只能当作粗略参考。
• 仓库带有自定义代码，所以 trust_remote_code=True 会运行其中的代码。请先阅读这些代码。
• License: gemma，按平台上列出的
• Cost to run: 未提到，不过 BF16 权重约 23.9 GB
• Data it reaches: 你传入的文字，在你自己的机器上运行
• Not for: 生成文字，因为输出是概率

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 框架：transformers
• 参数量：12B
• Weights: about 23.9 GB in BF16; about 6 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：46
• 点赞：3
• 许可证：gemma
• 基于：google/gemma-4-12B
• 标签：transformers, safetensors, truetype_system_one, feature-extraction, gemma4, typed-decisions, text-classification

链接

• 模型：https://huggingface.co/stephenlb/system-one-model
• 文件：https://huggingface.co/stephenlb/system-one-model/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download stephenlb/system-one-model

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。