Harness Leaderboard

Harness Leaderboard

在同一个开源模型上比较九个编码智能体，每个任务跑三次，附置信区间并公开每条运行轨迹。适合要决定在哪个智能体里运行开源模型的开发者。

由 joelniklaus 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：
这是 Joel Niklaus 做的编码智能体排行榜。它为运行开源模型的人回答一个问题：哪个编码智能体最能发挥某个模型的水平？每个智能体都用同样的模型、权重和推理强度运行，所以分数反映的是智能体自身的设置，而不是模型。

榜单比较九个智能体。其中有 Claude Code、Codex、Pi 和 OpenCode，也有 Qwen Code、Kimi Code、OpenClaw、Hermes Agent 和 mini-swe-agent。目前的模型是 DeepSeek-V4.1-Flash 和 GLM-5.3-Flash，各有低强度和高强度，另外还有默认强度的 Flint。任务来自两个基准测试，DeepSWE v1.1 和 Terminal-Bench 2.1，由 Harbor 只在 Hugging Face 的服务上运行。

适合谁：
它适合在编码智能体里运行开源模型、想在选定之前先看证据的开发者和团队。智能体的作者可以看到自己的位置，研究者可以研究智能体评测的表现。

行业 | 谁在用 | 怎么用 | 例子
软件团队 | 运行开源模型的工程师 | 在为模型选智能体之前先做比较 | 查看 GLM-5.3-Flash 在低强度下哪个智能体领先
智能体工具 | 编码智能体的作者 | 查看自己的分数，以及是否与领先者并列 | 阅读公开的运行轨迹，看自己的智能体如何处理某个任务
研究 | 评测研究者 | 研究重跑与更换智能体对结果的影响各有多大 | 阅读榜单对重跑翻转和更换翻转的对比
无人值守的工作 | 让智能体无人看管运行的团队 | 看一个智能体能否每次都解出同一个任务 | 对比三次都解出的任务占比和至少解出一次的任务占比

如果你只需要模型排名，可以跳过它。榜单固定模型，变化的是智能体。

用在哪里：

• 浏览器：Space 页面展示榜单
• 公开的结果存储桶：每次试验的运行轨迹和榜单背后的记录
• 一个配套的词典 Space，涵盖这九个智能体，每条说法都附来源链接
• Method 部分：把每个智能体链接到它在词典里的条目

用例 | 适合谁 | 得到什么
为模型选智能体 | 开发者 | 带 95% 置信区间的宏平均解决率，并标出与领先者并列的项
检查可靠性 | 运行无人值守智能体的团队 | 每个智能体三次都解出的任务占比，以及至少解出一次的占比
估算成本和时间 | 要做预算的人 | 计量代理记录的每次调用的 token 用量，以及 Harbor 记录的时间
检查某次运行 | 智能体作者和研究者 | 榜单上每次试验的公开运行轨迹

如何使用：
打开 Space，先看总分，再看并列情况、可靠性数据以及成本和时间。想了解数字背后的规则，就打开 Method 部分。更新日志按日期列出榜单的每个版本。

新手与专家：
Claude Code 或 Codex 这样的编码智能体，是包在模型外面的一层程序。它有自己的系统提示词和工具，还有自己编辑文件、压缩历史记录和请求权限的方式。同一个模型由哪一层程序运行，表现会有好有坏，这个榜单衡量的就是这个差距。

每次运行都固定模型、权重、智能体版本和单一的推理强度。每个沙箱里的计量代理会在每次模型调用时强制执行这个强度。每个智能体拿到相同的任务文本、时间限制、联网设置和评分，每个任务的步数、token 和成本都不设上限。总分是各基准测试解决率的平均值，附 95% 置信区间。如果某个智能体与领先者配对差异的 95% bootstrap 置信区间包含 0，就算与领先者并列。

固定模型、权重和推理强度
让每个智能体在自己的 HF Sandbox 里运行
在每个基准上对每个任务评分三次
扫描每条运行轨迹是否作弊
发布分数和运行轨迹

注意事项：

• 只有所有者能发起运行，而且是私下发起，所以你不能加入自己的运行。
• 如果智能体偷看已公布的答案、拉取含有答案的上游代码、复制别的智能体的记录、针对评分器做特殊处理，或者调用第二个模型，这次运行就算失败。这是榜单自己的规则。
• 每条运行轨迹都会经过 atif-scan，每个被标记的通过在计入之前都会被人读一遍。
• 确认的作弊数量只是下限，因为少数轨迹只能检查一部分。
• Terminal-Bench 任务需要联网，所以运行时有网络。DeepSWE 按其基准的本意离线运行，自 2026-10-23 起一直如此。
• 更早的 DeepSWE 试验里，智能体在网上找到答案的那些已经离线重跑。其余的保留了原来的结果，所以 DeepSWE 里既有联网试验也有离线试验。
• 因基础设施故障而失败的试验会重新运行。如果仍然失败，就从分数里排除，并单独列出。
• 智能体拿到的令牌只能用于推理。令牌在上传任何内容之前都会被抹掉，存储桶每 30 分钟重新扫描一次。
• 榜单所展示内容的每次变化都会成为一个新版本，日期记在更新日志里。
• 许可证：apache-2.0。

Hugging Face 上的数据（2026年11月7日）

• 点赞：66
• 构建方式：docker
• 许可证：apache-2.0

链接

• Space：https://huggingface.co/spaces/joelniklaus/harness-leaderboard
• 文件：https://huggingface.co/spaces/joelniklaus/harness-leaderboard/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。