S1MB Leaderboard

S1MB Leaderboard

在一个已保存结果的查看器里，比较 System One Decision Models 在 100 多个基准上的表现。适合想看模型哪里强、哪里弱的研究者。

由 hotchpotch 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：S1MB Leaderboard 是 System One Decision Models 已保存基准结果的查看器，这类模型读取文字和指令，返回结构化的决定。它在 100 多个基准上比较这些模型，也能单独显示每个基准。它只显示之前保存的测量值，所以这里不会加载或执行任何模型。

适合谁：它适合想逐个任务比较决策模型、看清每个模型强弱的研究者和模型开发者。

行业 | 谁在用 | 怎么用 | 例子
AI 研究 | 研究者 | 在许多基准上比较决策模型 | 打开一个基准并阅读保存的结果
模型开发 | 模型开发者 | 看看自己的模型哪里表现好、哪里吃力 | 在排行榜上查找一个已发布的模型
软件 | 开发者 | 用 Docker 在本地运行查看器 | 构建镜像并打开 7860 端口

如果你想自己测试模型，可以跳过它，因为页面只展示保存的结果。

用在哪里：

• 网页浏览器，打开 Hugging Face 上这个 Space 的页面
• 装有 Docker 的 Windows、macOS 或 Linux，用 Space 的文件在本地构建

用途 | 适合谁 | 能得到什么
比较模型 | 研究者 | 各任务上并排的结果
查看一个基准 | 模型开发者 | 单个基准的已保存测量值
切换评估范围 | 任何人 | 用范围选择器查看英语、日语或视觉结果

如何设置：

• 一个网页浏览器，在线页面只需要它
• Docker 和带 pip 的 Python，本地副本才需要

1. 在 Hugging Face 上打开这个 Space 的页面，就能在线使用，不需要安装任何东西。
2. 想要本地副本，先安装 Hugging Face hub 包，再下载 Space 的文件。
3. 进入下载好的文件夹。
4. 构建 Docker 镜像，再在发布 7860 端口的情况下运行它。

pip install -U huggingface_hub
hf download hotchpotch/S1MB-leaderboard --repo-type space --local-dir S1MB-leaderboard
cd S1MB-leaderboard
docker build -t s1mb-leaderboard .
docker run -it -p 7860:7860 s1mb-leaderboard

如何使用：打开页面，或者在容器运行之后打开你机器上的 7860 端口，用评估范围选择器在英语、日语和视觉数据集之间切换。然后比较模型，或打开单个基准。这个基准涵盖三种决定。

工具 | 作用
Choice | 从一组备选项里选一个
Noul | 根据给出的定义做是或否的判断
Score | 根据给出的标准给出一个数字

示例：把范围切换到日语数据集，看某个模型在各任务上的排名。再打开单个基准，看这个模型哪里表现好、哪里吃力。

新手与专家：先打开 Space 页面，选英语范围。缺失或失败的测量会明显显示为不完整，所以空白表示没有结果，而不是零分。

这些任务把公开的 NLP 数据集和合成任务混在一起，合成任务会改变指令、上下文和决策标准。在视觉范围里，Noul、Choice 和 Score 参与排名，可选的 Box 和 gen-box 任务单独显示，不计入排名。这些分数只是这些任务的参考，并不说明模型如何处理没见过的任务，也不说明训练数据是否有重叠。

模型的结果以数据集形式发布
从结果准备出展示数据
Docker 镜像打包展示数据
查看器按范围显示它

注意事项：展示数据重新生成、Space 再次发布之后，新结果才会出现。

• License: 查看器的代码是 MIT，评估数据集和模型检查点沿用各自的许可
• Cost to run: 未提及
• Data it reaches: 它自己 Docker 镜像里打包的展示数据
• Not for: 运行模型，或检查某个模型之前有没有见过某个任务

Hugging Face 上的数据（2026年11月13日）

• 点赞：86
• 构建方式：docker
• 许可证：mit

链接

• Space：https://huggingface.co/spaces/hotchpotch/S1MB-leaderboard
• 文件：https://huggingface.co/spaces/hotchpotch/S1MB-leaderboard/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。