Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
这是一个推理型对话模型,可以一步步思考,也可以快速作答,还能返回符合你所给模式的 JSON。适合自己部署语言模型的人。
Hermes-4.3-36B 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download NousResearch/Hermes-4.3-36B
Hermes 4.3 36B 是 NousResearch 推出的推理型对话模型,基于字节跳动的 Seed 36B 基础模型。它可以在回答前写出思考过程,关掉这个功能后回复更快。它还经过训练,能返回符合你所给模式的 JSON,也能修复损坏的 JSON 对象。
想在自己机器上运行开源推理模型的开发者和研究人员,用来做数学、代码、逻辑和结构化输出。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 软件 | 开发者 | 在本地运行模型,处理代码和结构化输出 | 要求返回符合模式的 JSON 对象 |
| 教育 | 老师和学生 | 一步步解决数学和逻辑题 | 为一道数学题打开推理模式 |
| 研究 | 机器学习研究人员 | 把这个开源 36B 模型和其他模型做比较 | 用自己的提示词运行并比较答案 |
只想快速得到聊天回复的人可以跳过它,改用托管的聊天服务。
| Use case | Who | What they get back |
|---|---|---|
| 数学和逻辑题 | 学生和研究人员 | 附带推理过程的答案 |
| 结构化输出 | 开发者 | 符合你所给模式的 JSON |
| 修复 JSON | 开发者 | 损坏对象的修复版本 |
pip install -U huggingface_hub hf download NousResearch/Hermes-4.3-36B
每次对话都要带上 system、user 和 assistant 标头,格式如下面模型卡所示。要开启推理模式,可以把聊天模板的 thinking=True 标志设为开,或者使用模型卡里那段长系统提示词,让模型在 think 标签内思考。
<|start_header_id|>system<|end_header_id|> You are Hermes 4. Be concise and helpful.<|eot_id|> <|start_header_id|>user<|end_header_id|> Explain the photoelectric effect simply.<|eot_id|> <|start_header_id|>assistant<|end_header_id|>
| Tool | What it does |
|---|---|
| thinking=True | 在聊天模板中开启推理模式 |
| think tags | 把模型的思考过程包在最终答案之前 |
你按上面的聊天格式请它 "Explain the photoelectric effect simply"。模型会在 assistant 回合里给出简短易懂的解释。开启推理模式后,它会先在 think 标签里写出思考,再给出答案。
如果你是新手,可以把它看成一个能下载并自己运行的聊天机器人大脑。先下载文件,再试一个像上面那样的短问题。权重文件很大,请先确认磁盘空间。
如果你熟悉这个领域,它是一个 36.2B 参数、面向 transformers 的模型,基于 Seed 36B。后训练使用了约 5M 条样本和 60B 个 token,混合了推理和非推理数据。模型卡称它是第一个通过互联网以去中心化方式训练的 Hermes 模型。
模型卡的基准表列出了通过互联网训练的版本的这些分数。
这是一个推理型对话模型,可以一步步思考,也可以快速作答,还能返回符合你所给模式的 JSON。适合自己部署语言模型的人。
由 NousResearch 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Hermes 4.3 36B 是 NousResearch 推出的推理型对话模型,基于字节跳动的 Seed 36B 基础模型。它可以在回答前写出思考过程,关掉这个功能后回复更快。它还经过训练,能返回符合你所给模式的 JSON,也能修复损坏的 JSON 对象。
适合谁:想在自己机器上运行开源推理模型的开发者和研究人员,用来做数学、代码、逻辑和结构化输出。
Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在本地运行模型,处理代码和结构化输出 | 要求返回符合模式的 JSON 对象
教育 | 老师和学生 | 一步步解决数学和逻辑题 | 为一道数学题打开推理模式
研究 | 机器学习研究人员 | 把这个开源 36B 模型和其他模型做比较 | 用自己的提示词运行并比较答案
只想快速得到聊天回复的人可以跳过它,改用托管的聊天服务。
用在哪里:
Use case | Who | What they get back
数学和逻辑题 | 学生和研究人员 | 附带推理过程的答案
结构化输出 | 开发者 | 符合你所给模式的 JSON
修复 JSON | 开发者 | 损坏对象的修复版本
如何设置:
pip install -U huggingface_hub
hf download NousResearch/Hermes-4.3-36B
如何使用:每次对话都要带上 system、user 和 assistant 标头,格式如下面模型卡所示。要开启推理模式,可以把聊天模板的 thinking=True 标志设为开,或者使用模型卡里那段长系统提示词,让模型在 think 标签内思考。
<|start_header_id|>system<|end_header_id|>
You are Hermes 4. Be concise and helpful.<|eot_id|>
<|start_header_id|>user<|end_header_id|>
Explain the photoelectric effect simply.<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>
Tool | What it does
thinking=True | 在聊天模板中开启推理模式
think tags | 把模型的思考过程包在最终答案之前
示例:你按上面的聊天格式请它 "Explain the photoelectric effect simply"。模型会在 assistant 回合里给出简短易懂的解释。开启推理模式后,它会先在 think 标签里写出思考,再给出答案。
新手与专家:如果你是新手,可以把它看成一个能下载并自己运行的聊天机器人大脑。先下载文件,再试一个像上面那样的短问题。权重文件很大,请先确认磁盘空间。
如果你熟悉这个领域,它是一个 36.2B 参数、面向 transformers 的模型,基于 Seed 36B。后训练使用了约 5M 条样本和 60B 个 token,混合了推理和非推理数据。模型卡称它是第一个通过互联网以去中心化方式训练的 Hermes 模型。
你按 Llama-3 格式发送对话
开启推理模式后会加入 think 标签
模型先写出思考,再给出答案
你读取答案或解析其中的 JSON
注意事项:模型卡的基准表列出了通过互联网训练的版本的这些分数。
Title: 模型卡中 Hermes 4.3 36B 的分数
OBQA: 96.6 分
MATH-500: 93.8 分
MMLU: 87.7 分
BBH: 86.4 分
DROP: 83.5 分
IFEval: 77.9 分
AIME 25: 69.3 分
SimpleQA: 6.0 分
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download NousResearch/Hermes-4.3-36B
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Hermes-4.3-36B 本页 | 2,559 | 321 | 36.2B | apache-2.0 | |
| Hermes-4.3-36B-GGUF共有 atropos · dataforge · hybrid-mode | 28,565 | 99 | 36.2B | apache-2.0 | |
| Hermes 4 14B共有 atropos · dataforge · hybrid-mode | 6,062 | 205 | 425K | apache-2.0 | |
| Hermes 3 Llama-3.1 8B共有 roleplaying · chatml · instruct | 336,953 | 550 | 8B | llama3 | |
| Hermes-3-Llama-3.2-3B共有 roleplaying · chatml · instruct | 4,602 | 187 | 3.2B | llama3 | |
| Hermes-3-Llama-3.1-8B-GGUF共有 roleplaying · chatml · instruct | 69,009 | 229 | 8B | llama3 |
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。