Sarvam-30B

Sarvam-30B

Sarvam AI 的混合专家语言模型，总参数 322 亿，每个词元激活 24 亿，面向英语和多种印度语言的实际使用。模型卡的示例代码需要 NVIDIA 显卡。

由 sarvamai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Sarvam-30B 是 Sarvam AI 的一个混合专家语言模型，总参数 322 亿，每个词元激活的非嵌入参数为 24 亿。模型卡把它定位为实际部署用，具备推理、编程和印度语言聊天能力。它还说这个模型可以处理会进行工具调用的多语言语音通话。

适合谁：适合想要一个面向印度语言和英语的开源模型、并且有 NVIDIA 显卡的开发者和研究人员。想要更大容量的人，可以看它的更大的同系列模型 Sarvam-105B。

Industry | Who uses it | How they use it | Example
客户服务 | 支持团队 | 构建印度语言的聊天和语音助手 | 用泰米尔语回答客户的问题
软件 | 开发者 | 给应用加入多语言开源模型 | 用脚本生成印地语回复
教育 | 教师和学习者 | 用多种语言练习和提问 | 用马拉地语解释一个数学步骤
研究 | AI 研究人员 | 研究活跃参数很少的专家模型 | 与规模相近的其他模型做对比

如果你需要在大型仓库里很强地修复代码，可以跳过它，因为模型卡自己的表格显示在那项测试上其他模型更靠前。

用在哪里：

• 在有 NVIDIA 显卡的机器上，用 Hugging Face transformers 库的 Python
• 模型卡目录指向的 vLLM 和 SGLang 等服务工具
• Windows、macOS 或 Linux，用来下载文件

Use case | Who | What they get back
文本生成 | 开发者 | 按你选择的设置采样出的回复
多语言聊天 | 印度语言用户 | 用印地语、孟加拉语和泰卢固语等语言给出的回答
调用工具的助手 | 智能体开发者 | 模型卡说可在语音通话中调用工具的模型

如何设置：

• Python 和 pip
• torch 和 transformers 库
• NVIDIA 显卡，因为模型卡的代码把输入送到第一块 CUDA 设备
• 足够的内存，因为模型卡记录估计全精度约 129 GB，4 位约 16.1 GB

1. 安装 Hugging Face hub 包。
2. 下载模型文件，或让 transformers 在第一次运行时自动获取。
3. 运行模型卡里的 Python 代码，它会加载分词器和模型。

pip install -U huggingface_hub
hf download sarvamai/sarvam-30b

如何使用：用下面的代码加载模型，然后定义辅助函数。用你的提示文字调用它，它会返回解码后的文字，其中包含你的提示，后面接着模型的续写。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model_name = "sarvamai/sarvam-30b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map="auto")

def generate_text(
    prompt: str,
    max_new_tokens: int = 2048,
    temperature: float = 0.8,
    top_p: float = 0.95,
    repetition_penalty: float = 1.0,
) -> None:
    inputs = tokenizer(prompt, return_tensors="pt").to("cuda:0")

    generation_config = GenerationConfig(
        max_new_tokens=max_new_tokens,
        repetition_penalty=repetition_penalty,
        temperature=temperature,
        top_p=top_p,
        do_sample=True,
    )

    with torch.no_grad():
        output_ids = model.generate(
            input_ids=inputs["input_ids"],
            attention_mask=inputs["attention_mask"],
            generation_config=generation_config,
        )
    return tokenizer.decode(output_ids[0], skip_special_tokens=True)

Setting | Default in the card's code | What it does
max_new_tokens | 2048 | 限制一条回复最多有多少个新词元
temperature | 0.8 | 控制措辞的变化程度
top_p | 0.95 | 把采样限制在最可能的词元上
repetition_penalty | 1.0 | 不对重复内容做惩罚

示例：你加载模型，并用一个简短的印地语问题调用辅助函数。权重加载完成后，它会把问题和模型的回答合成一段文字返回。

新手与专家：如果你刚接触，先用默认值和一个简短的提示，并留意显卡的内存使用。然后调整 temperature，看措辞如何变化。

专家会注意到，模型卡列出 19 层、128 个专家加一个共享专家，每个词元用前 6 路路由。它使用 4 个头的分组键值注意力，以及高达 8e6 的 rope theta，用来在不做 RoPE 缩放的情况下保持长上下文稳定。这个设计偏重速度和低内存，而不是深度。

Title: 模型卡报告的 Sarvam-30B 分数
Math500: 97.0
MBPP: 92.7
HumanEval: 92.1
MMLU: 85.1
MMLU Pro: 80.0
Live Code Bench v6: 70.0

加载分词器和模型
把提示转成词元
按采样设置生成文字
把词元解码回文字

注意事项：

• Agent tests: 在模型卡的表格里，它在 SWE Bench Verified 和 tau-squared 基准上落后于一些同类，所以请用你自己的任务来测试
• Remote code: 加载那一行把 trust_remote_code 设为 true，会运行随模型存放的代码，所以请先阅读那些代码
• Other versions: Hugging Face 列出了其他人做的 35 个量化版本和 13 个微调版本
• Languages: 模型卡声称在 22 种印度语言上表现出色，而页面记录列出的是包括英语在内的 8 种
• License: Apache 2.0
• Cost to run: 未提及，不需要 API 密钥或账号，但需要内存充足的显卡
• Data it reaches: 会从 Hugging Face 下载文件，你的提示只留在你自己的代码里
• Not for: 没有合适显卡的机器，或模型卡表格里其他模型更靠前的重型代码修复智能体工作

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：32.2B
• Weights: about 129 GB in F32; about 16.1 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：3,804
• 点赞：235
• 许可证：apache-2.0
• 语言：en, hi, bn, ta, te, mr, gu, kn
• Quantized versions: 35
• Fine-tunes: 13
• 标签：transformers, safetensors, sarvam_moe, text-generation, conversational

链接

• 模型：https://huggingface.co/sarvamai/sarvam-30b
• 文件：https://huggingface.co/sarvamai/sarvam-30b/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download sarvamai/sarvam-30b

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。