elephant-1

elephant-1

一次性回答关于某个情境的一组问题，并为每个选项给出校准过的概率。这是 Baseten 的 Base Labs 发布的 9B 决策模型，由 Qwen3.5-9B 调整而来。

由 baselabs 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：elephant-1 是 Baseten 的 Base Labs 发布的决策模型，由 Qwen3.5-9B 后训练而来。你给它一个文字情境，可以附带图像，再给一组问题，它会为每个选项返回校准过的概率。

所有问题都基于对情境的同一次共享预填充来回答，所以多加一个问题几乎不增加额外工作。概率还带有一个训练出来的“不知道”选项。

适合谁：适合想让程序用较小的模型做结构化决策（比如分流或分类），并看到每个答案有多大把握的团队。

Industry | Who uses it | How they use it | Example
客户支持 | 支持平台团队 | 对进来的消息做分流和分诊 | 判断客户是否想退款，以及该由哪个团队处理
软件 | 自动化流程的开发者 | 加入带置信度的决策步骤 | 从几个命名的选项里选一个，并给出概率
研究 | 比较决策模型的人 | 在决策基准上给它打分 | 和它更大的兄弟模型 mammoth-1 对比

如果你需要长篇的自由写作，可以跳过它，因为它是为回答固定问题而设计的。

用在哪里：

• 你自己的、带一块 CUDA GPU 的机器，使用卡片提到的 PyTorch CUDA 镜像
• Docker，通过那个镜像
• Baseten Model APIs，作为托管选项
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Use case | Who | What they get back
工单分流 | 支持团队 | 一个团队选择，并给出每个团队的概率
是非检查 | 工作流构建者 | 答案为是的概率
紧急程度评分 | 运营团队 | 从有序列表中选出的一个等级，并给出概率

如何设置：

• 一块 CUDA GPU
• 模型卡片上提到的 pytorch 2.8.0 CUDA 12.8 devel 镜像
• 用于下载的 Python 和 Hugging Face 工具

1. 运行下载命令，它同时会运行安装固定版本服务运行时的设置脚本。
2. 写一个简短的 Python 脚本，构造包含情境和你的问题的请求。
3. 运行它并读取答案。

hf download baselabs/elephant-1 --local-dir elephant-1 && bash elephant-1/setup.sh

如何使用：创建一个 DecisionEngine，然后用情境和一个问题字典调用 decide。每个问题有类型和说明，有些还有判断标准。

from qev.engine import DecisionEngine
from qev.schema import SystemOneRequest

engine = DecisionEngine("baselabs/elephant-1", device="cuda:0")

questions = {
    "refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"},
    "team": {
        "type": "choice",
        "instructions": "Which team should handle this?",
        "criteria": {"billing": "Charges, refunds, invoices",
                     "technical": "App or site faults",
                     "fraud": "Suspected unauthorised use"},
    },
    "urgency": {
        "type": "score",
        "instructions": "How urgent is this?",
        "criteria": ["Can wait", "Today", "Blocking the customer now"],
    },
}
resp, _ = engine.decide(SystemOneRequest(
    state="I was charged twice this month, please refund one of them.", questions=questions))
print(resp.answers)

Question type | Criteria | Answer fields
noul，是非问题 | 可选 | noul，即为是的概率
choice，从命名的选项里选一个 | 每个选项的名称和说明 | choice 和 probabilities
score，有序的等级 | 等级列表，最低的在前 | score 和 probabilities

示例：你传入一位被重复扣款的客户的消息，并问三个问题：这是不是退款请求，该由哪个团队处理，有多紧急。答案会连同每个选项的概率一起返回。

新手与专家：如果你刚接触这类模型，可以把它看成会自己填的表格。你描述情境，列出问题，就能得到每个问题的答案和把握程度。先从上面的示例脚本开始。

如果你熟悉这个领域，语言模型是在文字和图像决策上做的完整微调，视觉编码器被冻结，全注意力层使用块双向掩码。训练把交叉熵和 Brier 校准项结合起来，最大序列长度是 16,384 词元。

用文字或图像描述情境
列出你的问题和类型
对情境做一次共享预填充
得到每个选项的概率

注意事项：

• 在参数低于 15B 的模型里，作者把它排在自己的 Jev 决策基准第一，总体 208 个模型中并列第八，这些数字来自他们自己
• 卡片说它在五个方面都只是略低于 mammoth-1，但每项都领先 Jev 1.14
• 需要更广泛通用知识的任务，卡片指向 27B 的兄弟模型 mammoth-1
• 权重：据 Hugging Face，BF16 下约 18.8 GB

Title: Jev Decision Index 0.4 的得分
mammoth-1: 71.24 分
Perplexity Decider v1.2: 69.42 分
elephant-1: 62.65 分
Jev 1.14: 62.2 分
Cloudflare Clef: 55.7 分

• License: MIT
• Cost to run: 自托管需要一块 CUDA GPU，也可以用托管的 Baseten Model APIs，卡片说它曾限时免费
• Data it reaches: 你发送的情境文字和图像，托管端点默认开启零数据保留
• Not for: 超过 16,384 词元的请求，这类请求会被拒绝而不是截断

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 框架：transformers
• 参数量：9.4B
• Weights: about 18.8 GB in BF16; about 4.7 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：7,426
• 点赞：115
• 许可证：mit
• 语言：en
• 基于：Qwen/Qwen3.5-9B
• Quantized versions: 13
• Fine-tunes: 2
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, decision-model, classification, calibration, routing, guardrails, vision, multimodal, baseten

链接

• 模型：https://huggingface.co/baselabs/elephant-1
• 文件：https://huggingface.co/baselabs/elephant-1/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download baselabs/elephant-1

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。