GigaChat3.1-10B-A1.8B-GGUF

GigaChat3.1-10B-A1.8B-GGUF

用俄语和英语聊天、写代码、调用函数，是 GGUF 文件形式的紧凑混合专家模型。适合在自己硬件上运行助手的人。

由 ai-sage 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 GigaChat 3.1 Lightning 的 GGUF 文件，它是 ai-sage 的 GigaChat 3.1 系列里的紧凑指令模型。它是一个混合专家模型，总参数 100 亿，推理时激活 18 亿。模型卡列出的用途有多语言助手工作、推理、代码和函数调用，记录里列出的语言是俄语和英语。

适合谁：适合想要一个紧凑的俄语和英语助手、能推理、写代码和调用函数，并且愿意自己运行 GGUF 文件的开发者和团队。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 构建能调用函数的俄语和英语助手 | 调用订单查询工具的客服机器人
产品团队 | 应用构建者 | 部署紧凑的指令模型，做带来源的问答 | 回答用户问题并引用文档
爱好 | 本地模型用户 | 运行激活参数很少的 10B 混合专家模型 | 在普通硬件上用俄语聊天

想要 fp8 或 bf16 版本的人可以跳过这个仓库，因为模型卡把它们指向了别的仓库。

用在哪里：

• 任何能加载 GGUF 文件的运行环境，在你自己的电脑上
• 使用函数调用的智能体和助手环境
• Windows、macOS 或 Linux，装有 Python，用来下载文件

使用场景 | 适合谁 | 你会得到什么
助手聊天 | 开发者 | 俄语或英语的回复
代码帮助 | 程序员 | 代码和解释
函数调用 | 智能体构建者 | 对你定义的工具的结构化调用

如何设置：你需要先准备几样东西。

• Python 和 pip，用于 Hugging Face hub 工具
• 能加载 GGUF 文件的运行环境
• 4-bit 下估计约 5.3 GB 的磁盘空间

1. 用 pip 安装 hub 工具。
2. 下载仓库文件。
3. 在你选的运行环境里加载一个 GGUF 文件。

pip install -U huggingface_hub
hf download ai-sage/GigaChat3.1-10B-A1.8B-GGUF

如何使用：这里看到的这部分模型卡没有给出运行命令，所以你按自己 GGUF 运行环境的步骤来。然后你就可以和模型聊天、让它写代码，或接入工具做函数调用。

Title: 模型概要
部分 | 详情
架构 | 混合专家，总参数 10B，激活参数 1.8B
注意力 | 多头潜在注意力，压缩 KV 缓存
解码 | 用多词元预测训练，输出更快
语言 | 俄语和英语
格式 | GGUF

示例：你用俄语或英语让它写一个解析日期的 Python 函数并解释。你可以期待得到代码和简短的解释，因为代码和推理都是模型卡点名的用途。

新手与专家：如果你是新手，可以把它想成一个小到能在家里试用的聊天助手。下载一个 GGUF 文件，在支持 GGUF 的应用里加载，从一个简单的问题开始。

每个词元只有 100 亿参数中的 18 亿在工作，所以计算量低而容量高。多头潜在注意力缩小 KV 缓存来省内存。多词元预测让部署栈每次能解码多个词元。这个版本加入了完整的 DPO 阶段，用原生 FP8 训练，并在 DPO 期间训练 MTP 头。模型卡报告它的 BF16 参考版在 vLLM 下，一块 H100 上每秒输出 2,866 个词元。

提示词到达路由器
每个词元只激活 1.8B 参数
潜在注意力让 KV 缓存保持很小
多词元预测加快解码
用俄语或英语返回回复

注意事项：

• License: MIT。
• Cost to run: 没有提到 API 密钥或付费服务。你自己提供硬件，4-bit 下估计需要约 5.3 GB。
• Data it reaches: 只有你的提示词。你为函数调用接入的工具可以触及你允许它触及的内容。
• Not for: 高性能的 fp8 部署，模型卡把它交给了另一个仓库。这里看到的这部分模型卡没有 GGUF 运行命令。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：10.7B
• Weights: about 5.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：19,408
• 点赞：95
• 许可证：mit
• 语言：ru, en
• 基于：ai-sage/GigaChat3-10B-A1.8B-base
• 标签：transformers, gguf, instruct, multilingual, tool-use, long-context, text-generation, conversational

链接

• 模型：https://huggingface.co/ai-sage/GigaChat3.1-10B-A1.8B-GGUF
• 文件：https://huggingface.co/ai-sage/GigaChat3.1-10B-A1.8B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ai-sage/GigaChat3.1-10B-A1.8B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。