zephyr-7b-beta

zephyr-7b-beta

作为乐于助人的助手进行对话，由 Mistral-7B 经直接偏好优化调教而成。适合想自己运行小型开源聊天模型的开发者和爱好者。

由 HuggingFaceH4 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Zephyr-7B-beta 是 HuggingFaceH4 的 Zephyr 系列聊天助手中的第二个模型。它是 Mistral-7B-v0.1 的 72 亿参数微调版本，用公开的合成数据集和直接偏好优化（DPO）训练。模型卡说，去掉这些数据集自带的对齐后，它的得分更高，也更乐于帮忙。

适合谁：适合想要一个小巧开源聊天模型的人，从给自己添加自托管助手的开发者，到研究 DPO 如何塑造模型的研究者。记录里列出的语言是英文。

行业 | 谁在用 | 怎么用 | 例子
软件 | 应用开发者 | 添加一个自己托管的小型聊天助手 | 带自定义角色设定的客服机器人
科研 | 对齐研究者 | 研究用公开合成数据做 DPO 调教的模型 | 和它的 alpha 前一版做对比
爱好 | 本地模型用户 | 在自己的机器上和 7B 模型聊天 | 用选定的风格问日常问题

需要强力编程或数学帮助的人可以跳过它，因为模型卡说它在这些任务上不如专有模型。

用在哪里：

• 装有 Hugging Face transformers 库的 Python，可在 Windows、macOS 或 Linux 上使用
• 模型卡指向的一个托管演示聊天
• 你自己的机器，因为权重在 BF16 下约 14.5 GB，4-bit 下估计约 3.6 GB

使用场景 | 适合谁 | 你会得到什么
日常聊天 | 爱好者 | 对话中有帮助的回答
角色设定机器人 | 开发者 | 按系统消息设定的风格给出回复
偏好调教研究 | 研究者 | 一个在 UltraFeedback 上用 DPO 训练的参考模型

如何设置：你需要先准备几样东西。

• Python 和 pip
• transformers 库和 torch
• 放得下权重的内存或磁盘，BF16 下约 14.5 GB

1. 用 pip 安装 Hugging Face hub 工具。
2. 把模型文件下载到你的电脑。
3. 按模型卡的示例，用 transformers pipeline 在 Python 里加载模型。

pip install -U huggingface_hub
hf download HuggingFaceH4/zephyr-7b-beta

如何使用：你先建一个文本生成的 pipeline，再传入一组消息。系统消息设定角色，用户消息放问题。模型卡在生成之前会用分词器的聊天模板来格式化它们。

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="HuggingFaceH4/zephyr-7b-beta", torch_dtype=torch.bfloat16, device_map="auto")

messages = [
    {
        "role": "system",
        "content": "You are a friendly chatbot who always responds in the style of a pirate",
    },
    {"role": "user", "content": "How many helicopters can a human eat in one sitting?"},
]

工具 | 作用
pipeline() | 在 transformers 里加载模型用于文本生成
torch_dtype=torch.bfloat16 | 以 BF16 加载权重
device_map="auto" | 让库把模型放到可用的设备上
messages 列表 | 存放系统角色设定和用户问题
聊天模板 | 按模型期望的方式格式化消息

示例：你把系统消息设成一个说话像海盗的友好聊天机器人，然后问一个人一次能吃多少架直升机。模型会返回一段文字回复，你可以预期它是海盗风格。

新手与专家：如果你是新手，聊天模型就是一个回答你输入问题的程序。下载文件，运行上面的 pipeline 示例，再改一改系统消息，看看回复风格怎么变。

往底层看，这个模型先在过滤后的 UltraChat 上微调，那是 ChatGPT 生成的一组合成对话。然后用 TRL 的 DPOTrainer 在 UltraFeedback 上做对齐，它包含 6.4 万条提示词和由 GPT-4 排序的回答。模型卡报告的 MT-Bench 得分是 7.34，AlpacaEval 胜率是 90.60%。

Mistral-7B-v0.1 基础模型
在过滤后的 UltraChat 对话上微调
在 UltraFeedback 排序上做 DPO
通过分词器模板进行聊天

注意事项：

• License: MIT。
• Cost to run: 没有提到 API 密钥或付费服务。你自己提供硬件，权重从 Hugging Face 下载。
• Data it reaches: 只有你传入的提示词。模型卡没有提到文件、网络或账号访问。
• Not for: 复杂的编程和数学，模型卡说它在这些方面不如专有模型。模型卡还警告，被要求时它很可能生成有问题的文字。

Title: 发布时的 MT-Bench 得分
Mistral-Instructv0.1: 6.84 points
Zephyr-7b-alpha: 6.88 points
Llama2-Chat 70B: 6.86 points
Zephyr-7b-beta: 7.34 points
GPT-3.5-turbo: 7.94 points
GPT-4: 8.99 points

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：7.2B
• Weights: about 14.5 GB in BF16; about 3.6 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：60,487
• 点赞：1,868
• 许可证：mit
• 语言：en
• 基于：mistralai/Mistral-7B-v0.1
• Quantized versions: 37
• Fine-tunes: 165
• 标签：transformers, pytorch, safetensors, mistral, text-generation, generated_from_trainer, conversational, model-index

链接

• 模型：https://huggingface.co/HuggingFaceH4/zephyr-7b-beta
• 文件：https://huggingface.co/HuggingFaceH4/zephyr-7b-beta/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download HuggingFaceH4/zephyr-7b-beta

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。