Hermes 3 Llama-3.1 8B

Hermes 3 Llama-3.1 8B

Nous Research 基于 Llama 3.1 的 8B 通用对话模型，支持函数调用、结构化输出、角色扮演和代码辅助。适合想要一个可以自己运行、可引导的开放助手的开发者。

由 NousResearch 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Hermes 3 Llama-3.1 8B 是 Nous Research 推出的通用语言模型，基于 Meta 的 Llama 3.1 8B。它是 Hermes 系列的最新模型。与 Hermes 2 相比，它在智能体行为、角色扮演、推理、多轮对话和长上下文连贯性上都有提升。它在函数调用和结构化输出上也更可靠，写代码也更好。Hermes 系列的目标是通过系统提示词，把控制权交给用户，而不是由厂商设定固定规则。

适合谁：适合想要一个可以用系统提示词引导、并在自己硬件上运行的助手的开发者和爱好者。也适合构建会调用函数或返回结构化数据的智能体的人。

Title: 谁会用它
Industry | Who uses it | How they use it | Example
软件 | 开发者 | 给应用加一个本地聊天助手 | 把它部署在一个与 OpenAI 格式相同的聊天接口后面
智能体 | 智能体构建者 | 使用函数调用和结构化输出 | 让它返回调用某个工具的 JSON
创意 | 作家和游戏制作者 | 用系统提示词设定角色 | 运行带自定义人设的角色聊天

如果你需要当前最强的模型，可以跳过它。模型卡说它与 Llama 3.1 Instruct 不相上下，各有长短。

用在哪里：Hugging Face 的记录列出了 transformers 库，所以 Python 是主要的使用场所。它的提示词格式与 OpenAI 聊天接口使用的格式相同，所以很多聊天工具都能与它对话。

• 带 transformers 库的 Python
• 接受 ChatML 格式的聊天服务器和工具
• Windows、macOS 或 Linux 加 Python，用来下载文件

Title: 它能做的事
Use case | Who | What they get back
通用助手聊天 | 产品团队 | 遵循你的系统提示词的回复
函数调用 | 智能体构建者 | 根据你提供的函数签名生成的调用
代码帮助 | 开发者 | 代码草稿和解释

如何设置：你需要带 pip 的 Python 和 transformers 库，以及放下约 16.1 GB BF16 权重的内存，或按估算 4 位约 4 GB。你还需要像加载任何 transformers 模型一样，加载模型和分词器。

• 带 pip 的 Python
• transformers 库
• 约 16.1 GB BF16 权重所需的内存，或 4 位约 4 GB

1. 安装 Hugging Face 的下载工具。
2. 把模型文件下载到你的电脑。
3. 用 transformers 加载模型和分词器。

pip install -U huggingface_hub
hf download NousResearch/Hermes-3-Llama-3.1-8B

如何使用：模型使用 ChatML 提示词格式，用特殊 token 标记每一轮的开始、结束和角色。模型卡说分词器带有对话模板，所以你可以用 apply_chat_template 构造提示词。把添加生成提示词的选项打开，这样模型会以助手的身份继续。如果不想要系统消息，可以去掉它。做函数调用时，模型卡说要用一条带 JSON 函数签名的系统消息。

messages = [
    {"role": "system", "content": "You are Hermes 3."},
    {"role": "user", "content": "Hello, who are you?"}
]
gen_input = tokenizer.apply_chat_template(messages, return_tensors="pt")
model.generate(**gen_input)

示例：你加载模型，设置一条点明角色的系统消息，然后让它向你问好。对话模板把这两条消息转成 ChatML 格式，模型以助手的身份回答。改变系统消息就能改变语气和规则。

新手与专家：如果你是新手，这是一个可以自己运行的对话模型，系统消息就是告诉它扮演谁的方式。先用一条简短的系统消息和一个问题。

如果你熟悉这个领域，ChatML 提供结构化的轮次，并且与 OpenAI 聊天接口的格式相同，所以很容易接入现有的客户端。模型卡说 Hermes 3 系列在 Hermes 2 的基础上扩展，函数调用和结构化输出更可靠，并且用一张图表图片把它的基准结果与 Llama 3.1 Instruct 做了对比。

系统消息和用户消息输入
对话模板构造 ChatML 提示词
模型生成助手的回合
你读到回复，或一个 JSON 形式的函数调用

注意事项：这个模型小到一块好的 GPU 就能放下，量化后更小。人们分享了 52 个量化版本和 40 个微调版本。

Title: 权重大小，约数
BF16: 16.1 GB
4-bit estimate: 4 GB

• License: Llama 3 社区许可
• Cost to run: 未提及
• Data it reaches: 来自 Hugging Face 的模型文件，以及你给它的提示词
• Not for: 需要不经核对就确认答案的场景，或任何违反 Llama 3 许可条款的用途

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：8B
• Weights: about 16.1 GB in BF16; about 4 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：336,953
• 点赞：550
• 许可证：llama3
• 语言：en
• 基于：meta-llama/Meta-Llama-3.1-8B
• Quantized versions: 52
• Fine-tunes: 40
• 标签：transformers, safetensors, llama, text-generation, llama-3, instruct, finetune, chatml, gpt4, distillation, axolotl, roleplaying

链接

• 模型：https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B
• 文件：https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download NousResearch/Hermes-3-Llama-3.1-8B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。