Sarvam-Prism

Sarvam-Prism

针对一段文字提出的问题，一次前向计算就给出每个答案选项的概率。适合需要固定选项决策的团队，比如工单分派，要用大显存的 NVIDIA 显卡。

由 sarvamai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Sarvam-Prism 是一个建立在 Sarvam-105B 上的决策模型。你给它一些上下文和一个或多个问题，每个问题都有一组固定的可选答案。它一次前向计算就返回每个答案的概率，而且从不写自由文本，所以结果永远是你给的选项之一。

适合谁：适合把文本变成固定决策的团队，比如分派客服工单或评估客户有多不满，而且有大显存的 NVIDIA 显卡，或者会使用 Sarvam 的托管 API。

行业 | 谁在用 | 怎么用 | 例子
客户支持 | 客服团队 | 分派工单并标出紧急的 | 为一张工单选择账单、技术或配送
运营 | 处理各类请求的团队 | 用有序等级给客户的不满程度打分 | 把一条消息从平静评到暴怒
软件 | 构建决策步骤的开发者 | 用固定选项取代自由文本分类 | 给工作流加一个是或否的检查

需要生成文本的人可以跳过它，因为这个模型不生成任何文本。

用在哪里：

• 在一块支持 FP8 的 NVIDIA 显卡上用 Python，比如 B200 或 H200
• Sarvam 的托管 API，不需要显卡
• Windows、macOS 或 Linux，你可以用 Python 下载文件

用途 | 谁用 | 得到什么
工单分派 | 客服团队 | 每个团队的概率，并指出最可能的那个
紧急程度检查 | 运营人员 | 是或否问题里回答是的概率
语气打分 | 分析师 | 一个期望等级，以及各个有序等级的概率

如何设置：

你需要先准备：

• 一块支持 FP8、约有 120 GB 空闲显存的 NVIDIA 显卡，已在 B200 上测试
• Python 3.10 或更新版本和一个 C 编译器，因为 Triton 会在首次使用时构建它的内核
• 约 106 GB 的磁盘空间用于权重

1. 把模型和它的代码下载到一个本地文件夹。
2. 用需求文件安装依赖。
3. 在该文件夹上运行示例脚本。

pip install -U huggingface_hub
huggingface-cli download sarvamai/prism --local-dir sarvam-prism
cd sarvam-prism

pip install -r requirements.txt

python example.py .

如何使用：从下载好的文件夹加载模型，然后用一个状态和一组问题调用 decide。在 B200 上加载大约需要两分钟，因为 Triton 第一次要编译它的内核，还要捕获 CUDA 图。

from prism import Prism

model = Prism.from_pretrained(".")   # the downloaded folder; loads on cuda:0

answers = model.decide(
    state={"ticket": "My card was charged twice for the same order and I still haven't got a refund."},
    questions={
        "team": {"type": "choice", "instructions": "Which team should handle this ticket?",
                 "criteria": {"billing": "payments, charges and refunds",
                              "tech": "app or website problems",
                              "delivery": "shipping and order status"}},
        "urgent": {"type": "yes_no", "instructions": "Does this need a reply within the hour?"},
        "anger": {"type": "score", "instructions": "How upset is the customer?",
                  "criteria": ["calm", "annoyed", "angry", "furious"]},
    },
)

工具 | 作用
Prism.from_pretrained | 从下载好的文件夹把模型加载到 cuda:0
decide | 一起为一次请求里的每个问题打分
choice | 给出最可能的选项和每个选项的概率
yes_no | 给出回答是的概率
score | 给出期望等级、最可能的等级和各等级的概率

示例：你发送一张工单，内容是信用卡被重复扣款且没有退款，并提出三个问题。模型卡的示例输出为团队选出账单，概率 0.986，紧急程度回答是的概率为 0.45，愤怒程度得分 1.86。

新手与专家：可以把它想成一个文本的选择题评分器。你写出问题和允许的答案，它告诉你每个答案的可能性有多大。第一步可以先运行示例脚本，看看输出。

一次请求里的问题会一起打分，默认每批最多 16 个，而且每个问题单独评分。选择题的选项按排序后的键来打分，所以相同的选项总是给出相同的答案。每个问题的上下文上限是 131,072 个 token。权重使用自定义的 FP8 布局，所以通用推理服务器和 AutoModelForCausalLM 都无法加载它们。

你发送上下文和问题
每个问题列出允许的答案
一次前向计算给所有答案打分
你读取每个答案的概率

注意事项：

• 大小：Hugging Face 记录为 105B 个参数，F8_E4M3 格式约 105 GB
• 语言：列出了英语，以及印地语、孟加拉语、泰米尔语、泰卢固语、马拉地语、古吉拉特语和卡纳达语
• 速度：模型卡在一块 B200 上测得每个请求的中位数为 44 毫秒
• 加载：加载时会捕获 CUDA 图，你可以传入 cuda_graphs=False 来跳过

Title: Latency per request on one B200
Median: 44 ms
95th percentile: 420 ms

• License: apache-2.0
• Cost to run: 本地运行不需要密钥或账号，但需要约 120 GB 空闲显存的显卡。托管 API 是 Sarvam 另外提供的服务
• Data it reaches: 它会从 Hugging Face 下载模型文件，脚本只读取你作为 state 传入的文字
• Not for: 生成文本，或者用 AutoModelForCausalLM 加载，因为权重存放在自定义的 FP8 布局里

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 参数量：105B
• Weights: about 105 GB in F8_E4M3; about 52.5 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：325
• 点赞：44
• 许可证：apache-2.0
• 语言：en, hi, bn, ta, te, mr, gu, kn
• Fine-tunes: 1
• 标签：safetensors, sarvam_mla, decision-model, classification, calibration, text-classification

链接

• 模型：https://huggingface.co/sarvamai/prism
• 文件：https://huggingface.co/sarvamai/prism/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download sarvamai/prism

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。