Hermes-4.3-36B-GGUF

Hermes-4.3-36B-GGUF

Hermes 4.3 36B 的 GGUF 版本，是一个混合推理模型，能先思考再回答、写出有效的 JSON，并遵循你的系统提示词。适合在自己机器上运行大模型的人。

由 NousResearch 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Hermes-4.3-36B-GGUF 收录了 Hermes 4.3 36B 的 GGUF 文件，这是 Nous Research 基于字节跳动 Seed 36B 基础模型推出的混合推理模型。它可以先在可见的块里思考再回答，也可以直接回答。它被训练成能针对给定的模式生成有效的 JSON，作者称这是他们第一个通过互联网去中心化方式训练的 Hermes 模型。

适合谁：如果你想在自己的硬件上用一个大型开源推理模型，做数学、代码、结构化输出和通用聊天，它适合你。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 得到符合模式的有效 JSON | 要求输出符合给定的结构
研究 | 分析师 | 解决数学、逻辑和科学问题 | 遇到难题时打开推理
教育 | 学生 | 要求通俗的解释 | 请它简单讲一个物理概念
写作 | 写作者 | 用你设定的语气起草文字 | 在系统提示词里描述风格

如果你的机器放不下这么大的模型，可以跳过它，因为即使 4-bit 的权重也约有 18.1 GB。

用在哪里：你在本地读取 GGUF 格式的应用或库里运行这些文件，系统可以是 Windows、macOS 或 Linux。Python 和 huggingface_hub 包负责下载。

• 能读取 GGUF 文件的应用或库
• Windows、macOS 或 Linux，内存要放得下约 18.1 GB 的权重
• 装有 huggingface_hub 包的 Python，用于下载

使用场景 | 谁用 | 得到什么
推理问题 | 学生和分析师 | 推理打开时，回答前有一段可见的思考
结构化输出 | 开发者 | 符合给定模式的 JSON，以及对损坏 JSON 对象的修复
日常聊天 | 普通用户 | 关闭推理时更快的直接回答

如何设置：你需要 Python、Hugging Face hub 包和一个能读取 GGUF 文件的应用。按 Hugging Face 的估算，4-bit 的权重约 18.1 GB。这里看不到模型卡里说明这些文件的那部分。

• Windows、macOS 或 Linux 上的 Python
• Hugging Face hub 包
• 放得下权重的足够内存

1. 安装 Hugging Face hub 包。
2. 下载仓库文件。
3. 在你的应用里打开一个 GGUF 文件，并选择 Llama-3-Chat 提示格式。

pip install -U huggingface_hub
hf download NousResearch/Hermes-4.3-36B-GGUF

如何使用：模型使用 Llama-3-Chat 格式，系统、用户和助手的每一轮都带有角色头。这是模型卡里的基本聊天格式。

<|start_header_id|>system<|end_header_id|>

You are Hermes 4. Be concise and helpful.<|eot_id|>
<|start_header_id|>user<|end_header_id|>

Explain the photoelectric effect simply.<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>

要打开推理模式，就在聊天模板里设置 thinking 标志，或者用模型卡给出的推理系统提示词。

Tool | What it does
thinking=True | 在聊天模板里打开推理模式
think 标签 | 把模型的推理包在回答之前
系统提示词 | 设定模型的角色，就像模型卡的聊天格式那样

示例：你写一条系统提示词，要求简短、有帮助的回答，然后请它通俗地解释光电效应。模型在助手那一轮里回复，如果推理打开，会先有一段思考。

新手与专家：如果你刚接触，GGUF 是一种在自己机器上运行模型的文件格式，混合推理的意思是它可以先思考，也可以直接回答。第一件小事是下载文件，在关闭推理的情况下问一个简短的问题。

如果你熟悉这个领域，后训练数据集从 Hermes 3 的约 1M 个样本、1.2B 个词元增长到约 5M 个样本、60B 个词元。训练强调经过验证的推理轨迹，以及遵守要求格式的回答。

输入 Llama-3-Chat 格式的提示
模型决定是否先思考
先写思考片段，再写回答
返回回复

注意事项：这些是模型卡表格里 Psyche 训练版本的分数，从十二项基准中挑出。

Title: Hermes 4.3 36B Psyche 的基准分数
OBQA: 96.6
MATH-500: 93.8
MMLU: 87.7
BBH: 86.4
DROP: 83.5
MMLU-Pro: 80.7
IFEval: 77.9
AIME 24: 71.9

• License: Apache-2.0
• Limits: 模型卡列出的语言是英语，它的 SimpleQA 分数只有 6.0，所以请核对它给出的任何事实
• Refusals: 作者把它调成更少拒绝，并称它的对齐大体中立，所以请自己加上防护
• Cost to run: 没有提到任何 API 密钥或付费服务，4-bit 权重约 18.1 GB
• Data it reaches: 下载来自 Hugging Face，模型处理你给它的提示词
• Not for: 小型机器，或你无法核对的事实

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：36.2B
• Weights: about 18.1 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：28,565
• 点赞：99
• 许可证：apache-2.0
• 语言：en
• 基于：ByteDance-Seed/Seed-OSS-36B-Base
• 标签：transformers, gguf, instruct, finetune, reasoning, hybrid-mode, chatml, atropos, dataforge, roleplaying, chat, text-generation

链接

• 模型：https://huggingface.co/NousResearch/Hermes-4.3-36B-GGUF
• 文件：https://huggingface.co/NousResearch/Hermes-4.3-36B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download NousResearch/Hermes-4.3-36B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。