Shard-Reward

Shard-Reward

给一个提示词的回复打一个分数，方便你按提示词给候选回答排序。这是 49.4M 的奖励模型，用 282,062 条偏好对比训练，适合筛选或比较模型输出的人。

由 Glint-Research 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Shard-Reward 是一个只有 49.4M 参数的小型奖励模型。它读取一段对话，并给最后一条回复打一个分数。分数越高，说明回复越接近人们在它训练数据里偏好的那种。Shard-2 语言模型之上接了一个标量头。训练用了从五个 RLHF 数据集收集来的 282,062 条偏好对比。

适合谁：它适合需要一个廉价裁判来给候选回复排序的开发者，比如比较或筛选模型输出。作者提醒，它在手写提示词上的表现比平均分显示的更差。

Title: 谁在用
Industry | Who uses it | How they use it | Example
软件 | 开发聊天工具的开发者 | 为同一个提示词给多个候选回复排序 | 从几个起草的回答里挑最好的
研究 | 偏好学习研究者 | 用其他基线来测试小型奖励模型 | 与似然打分做比较
数据工作 | 清洗回复数据的团队 | 给同一提示词的回复排序，只保留前几名 | 每个提示词保留前 k 个回复

如果你需要校准过的分数或固定的及格线，可以跳过它。

用在哪里：

• Windows、macOS 或 Linux 上的 Python，装有 torch 和 tokenizers
• 终端，通过 infer.py 命令行
• 你自己的 Python 代码，通过 Rewards 类

Title: 它能做的事
Use case | Who | What they get back
给一条回复打分 | 开发者 | 这条回复的一个未校准数值
比较两条回复 | 研究者 | a 和 b 哪个更好，附带两个分数
给多条回复排序 | 数据团队 | 按从好到差排序的回复，附带分数

如何设置：

• 装有 torch 和 tokenizers 的 Python，脚本只需要这两个导入
• 把这个仓库的文件放在同一个文件夹里，因为脚本运行不需要别的东西

1. 下载仓库文件。
2. 安装依赖。
3. 运行 info 命令，确认能加载。

pip install -U huggingface_hub
hf download Glint-Research/Shard-Reward

pip install -r requirements.txt

python infer.py --info

如何使用：
带一个选项运行 infer.py，或者在 Python 里调用 Rewards 类。先用提示词构建上下文，再给回复打分、比较或排序。按提示词给候选回复排序，不要用固定分数线去切。

python infer.py --score --prompt "What is a hash table?" --response "A key and value store with constant average lookup."
python infer.py --compare --prompt "..." --a "reply a" --b "reply b"
python infer.py --rank --prompt "..." --responses-file replies.txt
python infer.py --pairs pairs.jsonl

from infer import Rewards, as_context

rewards = Rewards()
context = as_context("What is a hash table?")

rewards.score(context, "A key and value store with constant average lookup.")
rewards.compare(context, "reply a", "reply b")     # (a_is_better, score_a, score_b)
rewards.rank(context, ["reply a", "reply b"])      # best first, with scores
rewards.score_many(context, ["reply a", "reply b"])

Title: 调用方式
Tool | What it does
--score | 给一个提示词的一条回复打分
--compare | 比较两条回复 a 和 b
--rank | 给文件里列出的回复排序
--pairs | 处理一个回复对文件
Rewards | 带 score、compare、rank 和 score_many 的 Python 类

示例：
你让它给提示词“What is a hash table?”的回复“It stores data as keys and values.”打分。它返回一个数值。数值越高，说明这条回复越接近训练数据里人们偏好的那种。

新手与专家：
如果你是新手，可以把它看作一个给对话最后一条回复打分的裁判。第一件小事是用 score 命令给一个提示词和回复打分，再比较两条回复。

如果你懂这个领域，骨干网络是 Shard-2，有 20 层、4096 词的字节级词表和 768 词元的上下文，头部是 Bradley-Terry 风格。输出是一个相对分数，不能当作概率来读。代价是可靠性。在各个测试集上，它的排序平均约有 64% 是对的，而它在手写提示词上的失误是有规律的。

把提示词渲染成上下文
把回复交给标量头
得到一个未校准的分数
按提示词给回复排序

注意事项：

Title: 按来源的保留集准确率
UltraFeedback: 71.75 %
OpenAssistant: 70.65 %
SHP-2: 66.20 %
Anthropic HH-RLHF: 63.95 %
NVIDIA HelpSteer2: 58.45 %

• 基线：在同一个保留集上，用骨干网络自身似然排序得 55.94，打分头是 66.20。
• 弱点：在十二个测试集里有两个输给了似然基线，分别是 PKU better 和 Summarize。
• 上下文：768 词元，所以长对话会被截断。
• 含义：典型分数集中在零附近，波动约一个单位，两个提示词上数值相同并不可比。
• License：mit。
• Cost to run：没有提到 API 密钥、账号或付费服务。
• Data it reaches：脚本在本地文件上运行，只导入 torch 和 tokenizers。
• Not for：固定分数线，因为这个数值是差值而不是概率。

Hugging Face 上的数据（2026年11月13日）

• 最近 30 天下载：33
• 点赞：3
• 许可证：mit
• 语言：en
• 标签：glint_reward, rlhf, reward

链接

• 模型：https://huggingface.co/Glint-Research/Shard-Reward
• 文件：https://huggingface.co/Glint-Research/Shard-Reward/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Glint-Research/Shard-Reward

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。