gnani-evon-v3.3-30B-A3B

gnani-evon-v3.3-30B-A3B

用英语和十种印度语言聊天、答题和推理，上下文长度 128K。这是 Gnani.ai 的 30B 混合专家模型，适合用印度语言构建助手、RAG 和智能体的团队。

由 gnani 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：gnani-evon-v3.3 是 Gnani.ai 为印度语言打造的文本模型。它在混合专家设计里混用 Mamba 和 transformer 层，总参数 30B，每个 token 约有 3.5B 处于激活状态。训练分三个阶段，先是更多预训练，再是监督调优，最后是强化学习，模型接受最长 128K token 的输入。

适合谁：适合用印地语、泰米尔语、孟加拉语等印度语言构建聊天助手、文档搜索或智能体的团队。模型权重采用 Apache 2.0 许可证。

Industry | Who uses it | How they use it | Example
客户支持 | 支持团队 | 构建用印度语言作答的助手 | 回复一条用泰卢固文字写成的问题
知识管理 | 平台工程师 | 对长文档做多语言检索 | 在多种印度语言的长文件中搜索
软件 | 智能体开发者 | 构建能在多轮对话中调用工具的智能体 | 在印地语对话中使用工具的助手

如果你需要的是高风险事项的建议，可以跳过它，因为模型卡不建议这样使用。

用在哪里：

• Transformers 5.3.0 或更新版本，需要 trust_remote_code=True
• vLLM 0.12.0 或更新版本
• SGLang
• 装有 NVIDIA H100 80GB、H200 或 A100 GPU 的 Linux 机器，也就是模型卡列出的硬件
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Use case | Who | What they get back
印度语言聊天 | 应用开发者 | 用用户自己的文字写成的回复
长上下文 RAG | 平台团队 | 基于最长 128K token 文档的回答
调用工具的智能体 | 开发者 | 带工具调用的多轮推理

如何设置：

• Python，以及 huggingface_hub 软件包
• 一台装有模型卡所列 GPU 之一的 Linux 机器
• 为权重留出空间，BF16 约 63.5 GB

1. 安装 Python，并用下面第一条命令安装 huggingface_hub 软件包。
2. 用第二条命令下载模型文件。
3. 安装 Transformers 5.3.0 或更新版本，或 vLLM 0.12.0 或更新版本，或 SGLang。
4. 加载模型时使用 trust_remote_code=True。

pip install -U huggingface_hub
hf download gnani/gnani-evon-v3.3-30B-A3B

如何使用：模型卡里的 Transformers 示例以 BF16 加载分词器和模型并允许远程代码，然后发送一条聊天消息。它用的是较短的 id gnani/gnani-evon-v3.3，如果两者不同，请换成你下载的仓库 id。输入是带有 system、user、assistant 和 tool 角色的聊天消息，输出是文本，其中可能包含推理过程。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "gnani/gnani-evon-v3.3"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto",
)

messages = [
    {"role": "user", "content": "Explain photosynthesis in Hindi."},
]

示例：你像模型卡的代码那样，发送消息 "Explain photosynthesis in Hindi."。模型应该用印地语文本作答，并且可能在答案之前附上推理过程。

新手与专家：这是一个面向 GPU 服务器的大模型，所以第一步是读模型卡并下载文件。在拥有一台装有所列 GPU 的 Linux 机器之前，先别急着跑代码。

从底层看，模型卡称它是 Mamba2-Transformer 混合专家模型，网络架构列为 Nemotron 混合 MoE，精度为 BF16，上下文长度 131,072 token。每个 token 只激活一小部分参数，所以计算量比总参数量所暗示的要低。

用 hf 下载文件
允许远程代码并加载
发送聊天消息
模型推理并作答
读取文本回复

注意事项：

• License: Apache 2.0
• Cost to run: 未提及 API 密钥或付费服务，但权重需要约 63.5 GB 和数据中心级 GPU
• Data it reaches: 下载时从 Hugging Face 获取文件，来源没有提到其他内容
• Not for: 高风险决策、法律、医疗或金融建议，或者在没有用你自己的语言做安全检查的情况下使用
• 语言：英语加十种印度语言，其中有印地语、泰米尔语和奥里亚语

Title: 模型卡报告的 11 种语言 MILU 宏平均
gnani-evon-v3.3: 78.74
Sarvam-105B: 75.71
Sarvam-30B: 67.15

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：31.7B
• Weights: about 63.5 GB in BF16; about 15.9 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：60,825
• 点赞：81
• 许可证：apache-2.0
• 语言：en, hi, bn, te, ta, mr, gu, kn
• Quantized versions: 1
• 标签：transformers, safetensors, nemotron_h, text-generation, nemotron, pytorch, mamba, indic, long-context, reasoning, tool-calling, conversational

链接

• 模型：https://huggingface.co/gnani/gnani-evon-v3.3-30B-A3B
• 文件：https://huggingface.co/gnani/gnani-evon-v3.3-30B-A3B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download gnani/gnani-evon-v3.3-30B-A3B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。