Hermes-3-Llama-3.1-8B-GGUF

Hermes-3-Llama-3.1-8B-GGUF

把 NousResearch 的 8B 通用聊天模型 Hermes 3 做成量化 GGUF 文件，供 llama.cpp 使用。适合想在本机用函数调用、结构化输出和代码帮助的人。

由 NousResearch 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Hermes 3 8B 的 GGUF 副本，Hermes 3 是 Nous Research 基于 Meta-Llama-3.1-8B 做的通用语言模型。量化后的文件供 llama.cpp 使用，你可以在自己的电脑上运行模型，不必调用托管服务。

模型卡写明，相比 Hermes 2，它在角色扮演、推理、多轮对话、长上下文和写代码上有改进，还支持函数调用和结构化输出。

适合谁：它适合想要本地聊天模型、并用系统提示词来引导它的人，也适合需要小模型做工具调用或结构化回复的开发者。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 运行本地助手来写代码和解释代码 | 离线起草一个函数
AI 工具 | 智能体开发者 | 在智能体循环里用函数调用和结构化输出 | 以 JSON 返回一次工具调用
兴趣项目 | 折腾爱好者 | 在家用电脑上聊天和角色扮演 | 和自定义角色对话
研究 | 学生 | 不用付费 API 就能试基于 Llama 3.1 的模型 | 在同一个测试提示词上比较回复

如果你只需要托管的聊天应用，或者腾不出约 4 GB 内存给权重，可以跳过它。

用在哪里：只要能运行 llama.cpp，就能运行这个文件，下载则要在装有 Python 的电脑上进行。

• Windows、macOS 和 Linux 桌面
• 命令行或本地服务器里的 llama.cpp
• 能加载 GGUF 文件并支持 ChatML 格式的应用
• 对接 OpenAI 风格接口的智能体代码

Use case | Who | What they get back
本地聊天 | 有闲置电脑的人 | 不经托管服务的私密回复
函数调用 | 智能体开发者 | 代码能读取的结构化调用
代码帮助 | 程序员 | 代码草稿和解释

如何设置：你需要一台装有 Python 的电脑，有足够的磁盘空间和内存放下约 4 GB 的文件，还要有 llama.cpp 来运行模型。

• 带 pip 的 Python
• 已安装的 llama.cpp
• 4 位权重的空间，估计约 4 GB

1. 安装 Hugging Face hub 包。
2. 把仓库文件下载到你的电脑。
3. 让 llama.cpp 指向你要用的 GGUF 文件。

pip install -U huggingface_hub
hf download NousResearch/Hermes-3-Llama-3.1-8B-GGUF

如何使用：Hermes 3 需要 ChatML 提示格式，用特殊标记标出每一轮的开始和结束，每一轮都有角色。系统消息用来引导规则、角色和风格。不需要时，把那一轮去掉即可。

模型卡给出了下面这段 Python 代码，用来从消息列表构建聊天提示词。

messages = [
    {"role": "system", "content": "You are Hermes 3."},
    {"role": "user", "content": "Hello, who are you?"}
]
gen_input = tokenizer.apply_chat_template(messages, return_tensors="pt")
model.generate(**gen_input)

示例：你先用系统消息给模型设定一个角色，再问一句 "Hello, who are you?"。模型会以这个角色回答，作为一轮助手回复，你可以一轮一轮地接着聊。

新手与专家：如果你是新手，先用上面两条命令下载文件，再在支持 GGUF 的程序里加载，发一句简短的问候试试。量化文件用一点精度换来小得多的体积。

如果你懂这个领域，它就是 Llama 3.1 8B 的 Hermes 3 微调版的 GGUF 形式。它使用 ChatML，能很顺畅地对应 OpenAI 风格的聊天接口，并且针对函数调用训练过专门的系统提示词。

下载 GGUF 仓库
在 llama.cpp 中加载文件
发送 ChatML 提示词
读取助手回复

注意事项：模型卡称 Hermes 3 与 Llama 3.1 Instruct 模型不相上下，双方各有强弱。把它当作大致参考，并在你自己的任务上试一试。

• License: llama3
• Cost to run: 未提及费用，权重可免费下载并在你自己的电脑上运行
• Data it reaches: 你下载到电脑上的文件，没有提到其他内容
• Not for: 需要完整 BF16 权重的用户，那些权重在另一个仓库里

Hugging Face 上的数据（2026年11月13日）

• 参数量：8B
• Weights: about 4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：69,009
• 点赞：229
• 许可证：llama3
• 语言：en
• 基于：meta-llama/Meta-Llama-3.1-8B
• 标签：gguf, llama-3, instruct, finetune, chatml, gpt4, distillation, axolotl, roleplaying, chat, conversational

链接

• 模型：https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B-GGUF
• 文件：https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download NousResearch/Hermes-3-Llama-3.1-8B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。