Sarvam-105B GGUF

Sarvam-105B GGUF

Sarvam-105B 的 GGUF 版本，一个重视印度语言的大型混合专家模型，按 4 位拆成 9 个分片，供 llama.cpp 使用。适合内存充足、想用大型开源模型的人。

由 sarvamai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Sarvam-105B 是 Sarvam AI 的一个大型混合专家语言模型，这里打包成供 llama.cpp 使用的 GGUF 文件。它约有 1060 亿参数，其中每个词元用到 103 亿。模型卡说它的训练特别重视印度语言，同时也涵盖推理、数学、编程和智能体任务。4 位（Q4_K_M）文件分成 9 个分片。

适合谁：适合拥有大内存电脑、想用一个会印度语言和英语的大型开源模型、并且愿意自己编译 llama.cpp 的人。模型卡估计 4 位权重大约 53 GB。

Industry | Who uses it | How they use it | Example
教育 | 教师和学习者 | 用印地语、泰米尔语等印度语言聊天和学习 | 请它用印地语总结一节课
软件 | 开发者 | 运行本地聊天模型或 OpenAI 风格的服务器 | 让应用连接本地服务器
研究 | AI 研究人员 | 在本地硬件上研究大型混合专家模型 | 与更小的模型做对比
商业 | 注重隐私的团队 | 让提示词留在自己的机器上 | 在公司内部服务器上运行

如果你只有一台小笔记本，可以跳过它，因为 4 位权重本身就要约 53 GB。

用在哪里：

• llama.cpp 工具，比如 llama-cli 聊天程序和 llama-server 工具
• Windows、macOS 或 Linux，用 CPU 或有的话用 GPU
• 能连接 OpenAI 风格聊天服务器的本地应用

Use case | Who | What they get back
交互式聊天 | 个人用户 | 在终端里持续进行的对话
本地 API | 开发者 | 来自你自己机器上服务器的聊天回复
多语言帮助 | 印度语言用户 | 用印地语、孟加拉语和泰米尔语等语言给出的回答

如何设置：

• Python 和 pip，用来下载文件
• git、cmake 和 C++ 编译器，用来构建 llama.cpp
• 大约 53 GB 的可用空间，以及足够放下权重的内存，这是模型卡自己的估计
• 如果想要更快的输出可以用 GPU，不过模型卡说 CPU 也能运行

1. 安装 Hugging Face hub 包并下载模型文件，其中包含全部 9 个分片。
2. 克隆 llama.cpp 项目并用 Release 模式构建。
3. 启动 llama-cli 并指向第一个分片，它会自动带上其余分片。

pip install -U huggingface_hub
hf download sarvamai/sarvam-105b-gguf

克隆之后，在 llama.cpp 文件夹里运行这一行。

cd llama.cpp && cmake -B build && cmake --build build --config Release -j

如何使用：用第一个分片文件启动交互式聊天。下面的模型路径假设文件放在名为 sarvam-105b-gguf 的文件夹里。系统提示设定助手的角色，上下文大小为 4096 个词元。

./build/bin/llama-cli \
  -m sarvam-105b-gguf/sarvam-105b-Q4_K_M.gguf-00001-of-00009.gguf \
  -c 4096 \
  -n 512 \
  -p "You are a helpful assistant." \
  --conversation

如果想改为在 8080 端口提供 OpenAI 风格的 API，运行服务器命令。注意主机参数会让它监听所有网络地址，所以如果只想本机访问，请修改它。

./build/bin/llama-server \
  -m sarvam-105b-gguf/sarvam-105b-Q4_K_M.gguf-00001-of-00009.gguf \
  -c 4096 \
  --host 0.0.0.0 \
  --port 8080

Setting | What it does
-m | 设置模型第一个分片的路径
-c 4096 | 把上下文窗口设为 4096 个词元
-n 512 | 把每条回复限制在 512 个新词元
-p | 设置给助手的开场指令
--conversation | 让对话一轮一轮持续下去
-ngl -1 | 有 GPU 时启用 GPU，省略它就在 CPU 上运行

示例：你带着系统提示启动 llama-cli，等待模型加载。你用印地语输入一个问题，模型在持续的聊天中回答，你可以一轮一轮接着聊下去。

新手与专家：如果你刚接触，先试一个更小的模型来学习 llama.cpp，等有了足够内存再回来用这个。请确认 9 个分片文件都在同一个文件夹里。

专家会注意到，注意力采用潜在压缩的风格，查询和键的维度是分开的。模型卡列出的隐藏层大小为 4096，有 128 个专家，每个词元选前 8 个，另有一个共享专家。长上下文来自因子为 40 的 YaRN 缩放，可达 128K 词元。它的基准测试使用的上下文最长为 65,536 个词元。

Title: 模型卡报告的 Sarvam-105B 分数
Math500: 98.6
MMLU: 90.6
MMLU Pro: 81.7
GPQA Diamond: 78.7
Live Code Bench v6: 71.7

下载全部 9 个分片文件
用 cmake 构建 llama.cpp
让 llama-cli 或 llama-server 指向第一个分片
聊天或调用本地 API

注意事项：

• Compare with others: 模型卡的表格里它在一些测试上领先，在 SWE Bench Verified 上落后，有三个其他模型得分更高
• Download name: 模型卡自己的下载命令用了和本页不同的仓库名，所以请使用上面的 hf download 命令
• Languages: 模型卡声称在 22 种印度语言上表现出色，而页面列出的是包括英语在内的 8 种
• License: Apache 2.0
• Cost to run: 未提及，不需要 API 密钥或账号，但硬件要求很高
• Data it reaches: 会从 Hugging Face 下载文件，聊天服务器在你自己的机器上回答你的提示
• Not for: 内存很小的电脑，或者保持主机参数原样就把服务器暴露在公网上

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：106B
• Weights: about 53 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：201
• 点赞：19
• 许可证：apache-2.0
• 语言：en, hi, bn, ta, te, mr, gu, kn
• 标签：transformers, gguf, text-generation, conversational

链接

• 模型：https://huggingface.co/sarvamai/sarvam-105b-gguf
• 文件：https://huggingface.co/sarvamai/sarvam-105b-gguf/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download sarvamai/sarvam-105b-gguf

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。