S5-nano-GGUF

S5-nano-GGUF

用 2.8 到 8.7 GB 的 GGUF 文件，在 llama.cpp 和兼容应用里运行 Maritaca AI 的 S5-nano，这是一个针对巴西葡萄牙语调优、带函数调用和思考模式的 4B 模型。

由 maritaca-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：S5-nano-GGUF 收录 S5-nano 的 GGUF 副本，S5-nano 是 Maritaca AI 的 4B 参数模型。Maritaca 在 Qwen3.5-4B 的基础上做了更多预训练和后训练，卡片说它在巴西基准上提升很大。这个仓库为 llama.cpp 和兼容应用提供三种尺寸：8.7 GB 的 BF16、4.6 GB 的 Q8_0 和 2.8 GB 的 Q4_K_M。

适合谁：想要一个在巴西葡萄牙语上表现良好、并能在自己机器上做函数调用、工具使用和结构化输出的小型模型的人。

Industry | Who uses it | How they use it | Example
软件开发 | 巴西的开发者 | 给应用加一个本地葡萄牙语模型 | 一个用葡萄牙语回答的聊天功能
智能体构建 | 智能体开发者 | 使用函数调用和结构化输出 | 一个用带类型字段调用工具的智能体
教育 | 老师和学生 | 用一个能读巴西文本的模型练习 | 用巴西葡萄牙语回答的问题
研究 | 语言模型研究者 | 对比小型量化模型 | Q4_K_M 对比 Q8_0

如果你想要用于 vLLM 或 SGLang 的 GPU 版 BF16 或 FP8 权重，可以跳过这个仓库，因为它们在原始仓库里。

用在哪里：

• llama.cpp 和能加载 GGUF 文件的应用
• 用 Python 取回文件后，在 Windows、macOS 或 Linux 上使用
• vLLM 和 SGLang，但要用原始权重，而不是这个仓库

Use case | Who | What they get back
本地聊天 | 个人用户 | 小模型用葡萄牙语或英语给出的回答
工具使用 | 智能体构建者 | 函数调用和结构化输出
长文档 | 分析师 | 上下文窗口最长达 262,144 个 token 的模型

如何设置：

• Python 和 pip
• 你所选文件需要的磁盘空间，从 2.8 GB 到 8.7 GB
• llama.cpp 或其他能加载 GGUF 文件的应用

1. 安装 Hugging Face hub 工具。
2. 下载模型文件。
3. 按模型卡片，在 llama.cpp 或你的应用里打开一个 GGUF 文件。

pip install -U huggingface_hub
hf download maritaca-ai/S5-nano-GGUF

如何使用：在 llama.cpp 里加载一个文件，然后聊天。模型有两种模式。Think 会先推理再回答，是默认模式。Instruct 直接回答，没有推理步骤。

示例：你让模型处于 Think 模式，用巴西葡萄牙语提一个问题。它先推理，再回答。在 Instruct 模式下，同一个问题会得到直接的回复，没有推理步骤。

新手与专家：如果你刚接触 GGUF，先用最小的 Q4_K_M 文件，用葡萄牙语问一个简短的问题。如果你想要更接近原版的质量，并且内存够用，再换成 Q8_0。

权重里包含一个多 token 预测层，可用于推测解码。上下文窗口最长达 262,144 个 token。卡片报告的评测结果针对的是原始 BF16 检查点，而不是这些 GGUF 文件，所以量化后的质量可能有差别。

按你的内存挑一个 GGUF 尺寸
在 llama.cpp 里加载它
选择 Think 或 Instruct 模式
用葡萄牙语或英语提问

注意事项：

• 评测：卡片的结果针对原始 BF16 权重，而不是这些 GGUF 文件
• 其他格式：vLLM 和 SGLang 用户需要原始的 BF16 或 FP8 仓库

Title: S5-nano 各版本的大小，单位 GB
GGUF Q4_K_M: 2.8 GB
GGUF Q8_0: 4.6 GB
FP8: 5.8 GB
GGUF BF16: 8.7 GB
Original BF16: 9.3 GB

• License: apache-2.0
• Cost to run: 没有提到 API 密钥或付费服务，只需要你自己的电脑
• Data it reaches: 下载会取回模型文件，聊天在你的应用里本地进行
• Not for: 从这个仓库做 vLLM 或 SGLang 服务，因为卡片让这些用户去用原始权重

Hugging Face 上的数据（2026年11月13日）

• 框架：gguf
• 参数量：4.3B
• Weights: about 2.2 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：3,421
• 点赞：14
• 许可证：apache-2.0
• 语言：pt, en
• 基于：maritaca-ai/S5-nano
• 标签：gguf, llama.cpp, conversational

链接

• 模型：https://huggingface.co/maritaca-ai/S5-nano-GGUF
• 文件：https://huggingface.co/maritaca-ai/S5-nano-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download maritaca-ai/S5-nano-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。