EmbeddingGemma 2 Typed Decisions

EmbeddingGemma 2 Typed Decisions

一个 272M 的模型，由 EmbeddingGemma 2 微调而来，读取工作流的状态和一份问题模式，并为每个问题返回带有校准置信度的类型化答案。

由 mrm8488 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个类型化决策模型，由 Google 的 EmbeddingGemma 2 微调而来，有 272M 参数。你给它一个工作流的状态，比如安全警报、发票、支持工单或智能体轨迹，再加一份问题模式。它为每个问题返回一个类型化的答案，并带有校准过的置信度。问题有三种类型：在选项中做选择、在等级量表上打分，以及一个带概率的是或否。

适合谁：它适合构建智能体监控、工单分诊或审核队列、并想要一个在自己定义的选项中做选择的小模型的开发者。

行业 | 谁在用 | 怎么用 | 例子
智能体运营 | 监控 AI 智能体的团队 | 决定如何处理一次智能体运行 | 对一条轨迹在继续、观察、人工审核和停止之间做选择
客户支持 | 客服团队 | 用类型化模式给工单分诊 | 询问一张工单是否需要人来审核
金融和安全 | 后台和安全团队 | 给发票或警报的风险评级 | 在 0 到 3 的等级量表上给一条警报打分

如果你需要自由文本的答案，可以略过它，因为它只在你给的选项里做选择。对有实际后果的决定，请让人参与其中。

用在哪里：

• 使用仓库自带自定义代码的、装有 transformers 的 Python 项目
• 智能体监控、工单分诊和审核队列
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用途 | 谁用 | 能得到什么
智能体轨迹审核 | 可观测性团队 | 一个被选中的选项，比如继续或停止，并带置信度
风险评分 | 风险团队 | 来自你描述的量表的一个等级，并带概率
审核标记 | 工单队列 | 一个带概率的是或否

如何设置：
你需要先准备：

• 装有 transformers 的 Python
• 愿意通过 trust_remote_code 让仓库的自定义代码运行
• 约 1.1 GB 的 F32 权重空间，或 4 位下约 136 MB，这只是估算值

1. 安装 Hugging Face 工具并下载文件。
2. 用 AutoModel 和 trust_remote_code 加载模型。
3. 把你的状态和问题描述成普通数据，然后调用 decide。

pip install -U huggingface_hub
hf download mrm8488/embeddinggemma-2-ft-typed-decision

如何使用：
构建一个状态字典和一个问题字典，然后带着工作流名称调用 decide。每个答案都以 TypedAnswer 的形式返回。每个选项自己的措辞会与状态和问题做比较，所以模式就是普通数据。你可以重命名选项、修改它的描述或添加问题，而不用重新训练模型。偏离模型训练内容的问题，答案会更不稳。

from transformers import AutoModel

model = AutoModel.from_pretrained("mrm8488/embeddinggemma-2-ft-typed-decision", trust_remote_code=True)

state = {
    "agent": {"autonomy": "unsupervised", "model": "internal-agent-v2"},
    "task": "Clean up stale feature branches merged more than 90 days ago.",
    "constraints": ["Never delete anything matching release/*", "Do not force-push to any branch"],
}

questions = {
    "action": {
        "type": "choice",
        "instructions": "What should the observability system do with this trace?",
        "criteria": {
            "continue": "Let the agent proceed without interruption.",
            "observe": "Keep running, but flag the trace for later sampling.",
            "human_review": "Queue this trace for a human to review.",
            "stop": "Halt the agent now.",
        },
    },
    "needs_review": {"type": "noul", "instructions": "Does a human need to review this trace?"},
    "risk": {
        "type": "score",
        "instructions": "How risky is what the agent did?",
        "criteria": ["no risk", "low risk", "significant risk", "severe risk"],
    },
}

answers = model.decide(state, questions, workflow="agent_trace_observability")

TypedAnswer(
    kind="choice",                  # "choice" | "score" | "noul"
    label="human_review",           # the winning option key
    value="human_review",           # typed: str for choice, int for score, bool for noul
    confidence=0.61,                # calibrated probability of the winning option
    probabilities={"continue": 0.02, "observe": 0.11, "human_review": 0.61, "stop": 0.26},
    expected_level=None,            # score questions only: E[level]
)

问题类型 | 值类型 | 模式
choice | str | 一个字典，选项键各带一条描述
score | int | 一个等级描述的列表，从最低到最高
noul | bool | 只有说明，答案是真或假并带一个概率

工具 | 作用
decide | 针对一个状态回答你模式里的每个问题
TypedAnswer | 保存标签、值、置信度和概率
to_dict | 把答案变成 JSON

示例：你描述一次试图清理分支、并违反了一条约束的智能体运行，然后问该怎么办。模型卡的示例答案显示 human_review 胜出，其他选项也列在旁边，各带自己的概率。

新手与专家：第一次尝试可以原样运行模型卡的示例，然后改动一个选项的描述，看概率如何变化。

对懂行的人来说，头部会把每个选项的文字与状态和问题对照打分。这就是模式只是普通数据的原因。置信度是获胜选项的校准概率，打分类问题还会返回一个期望等级。基础模型是多语言的，但头部只见过英语的模式，所以在其他语言里概率会更平缓。分词器在第一次使用时从同一个仓库加载。

你描述一个状态和一份问题模式
头部把每个选项的文字与它们对照打分
为每个选项校准概率
你读取带标签和置信度的类型化答案

注意事项：

Title: 模型信息
项目 | 数值
参数量 | 272M
F32 权重 | 约 1.1 GB
4 位权重 | 约 136 MB，估算值
格式 | Safetensors
基于 | google/embeddinggemma-2

• 可靠性：偏离训练主题的问题，答案会更不稳。
• 其他语言：基础模型是多语言的，但概率会比英语更平缓。
• 监督：对有实际后果的决定，请让人参与其中。
• License: apache-2.0
• Cost to run: 没有提到 API 密钥或付费服务。
• Data it reaches: 它从 Hugging Face 下载文件，第一次使用时还会从同一个仓库下载分词器。示例在你自己的机器上运行模型。
• Not for: 自由文本的答案，或单独掌控高风险的决定。

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 框架：transformers
• 参数量：272M
• Weights: about 1.1 GB in F32; about 136 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,800
• 点赞：89
• 许可证：apache-2.0
• 语言：en
• 基于：google/embeddinggemma-2
• Quantized versions: 1
• Fine-tunes: 2
• 标签：transformers, safetensors, gemma_decision, feature-extraction, typed-decisions, structured-decisions, calibration, embeddinggemma, decision-model, text-classification, multilingual

链接

• 模型：https://huggingface.co/mrm8488/embeddinggemma-2-ft-typed-decision
• 文件：https://huggingface.co/mrm8488/embeddinggemma-2-ft-typed-decision/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download mrm8488/embeddinggemma-2-ft-typed-decision

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。