ParsBench Leaderboard

ParsBench Leaderboard

ParsBench 做的排行榜，在波斯语数据集上给模型打分，附带可运行或改造成自己版本的代码。适合比较模型的波斯语 NLP 研究人员和工程师。

由 ParsBench 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个 Leaderboard 是 ParsBench 的成绩页面。从它提到的数据集来看，它在波斯语任务上给模型打分。这些数据集包括 pn_summary、涵盖蕴含、阅读理解和双向翻译的 ParsiNLU 数据集，以及 khayyam-challenge。仓库里也有构建这个榜单的代码。

适合谁：适合处理波斯语文本、希望在选模型之前先看实测分数的人。

Title: 谁会用这个排行榜
Industry | Who uses it | How they use it | Example
波斯语语言技术 | 研究人员 | 在共同的波斯语数据集上比较模型 | 查一个模型在某个数据集上的得分
AI 工程 | 工程师 | 为波斯语功能挑选候选模型 | 在最接近自己需求的任务上比较两个候选模型
排行榜托管 | 维护者 | 改造代码来运行自己的排行榜 | 修改 src/about.py 里的任务

如果你只处理其他语言，可以跳过它。

用在哪里：你可以在线查看，也可以自己运行一份副本。

• 网页浏览器：Hugging Face 上这个 Space 的页面，无需安装任何东西
• Windows、macOS 或 Linux：用 Python 运行的本地副本
• Hugging Face Spaces：托管榜单运行的地方，使用 cpu-basic 硬件档

Title: 这个排行榜适合做什么
Use case | Who | What they get back
比较模型的波斯语任务表现 | 工程师 | 每个模型在所列数据集上的得分
研究单个任务 | 研究人员 | 单个数据集的结果，比如一个翻译方向
运行自己的排行榜 | 维护者 | 可以改造的本地副本，由保存为 JSON 文件的结果驱动

如何设置：托管的榜单什么都不用装。本地副本需要 Python 和 pip。

• Python 和 pip
• requirements.txt 列出的 Python 包

1. 安装 huggingface_hub 包。
2. 把这个 Space 的文件下载到一个文件夹。
3. 进入这个文件夹。
4. 安装 Gradio 5.5.0。
5. 安装 requirements.txt 里的包。
6. 用 Python 启动应用。

pip install -U huggingface_hub
hf download ParsBench/leaderboard --repo-type space --local-dir leaderboard
cd leaderboard
pip install gradio==5.5.0
pip install -r requirements.txt
python app.py

想让副本指向你自己的排行榜，修改 src/env.py 里的路径和 src/about.py 里的任务。

如何使用：在线打开这个 Space，或者用下面的命令启动你的副本。然后阅读排行榜表格，比较你关心的模型。

python app.py

结果以 JSON 文件的形式放进去，分 config 和 results 两部分，格式如下。

{
    "config": {
        "model_dtype": "torch.float16", # or torch.bfloat16 or 8bit or 4bit
        "model_name": "path of the model on the hub: org/model",
        "model_sha": "revision on the hub",
    },
    "results": {
        "task_name": {
            "metric_name": score,
        },
        "task_name2": {
            "metric_name": score,
        }
    }
}

Title: 决定榜单样子的文件
Tool | What it does
src/env.py | 存放你要改的大部分变量，比如排行榜路径
src/about.py | 存放任务
src/display/utils.py | 定义主表格的列名和属性
src/leaderboard/read_evals.py | 读取结果和请求文件，并转成表格行
src/submission/submit.py | 决定哪些提交被允许或被过滤

示例：你需要一个做波斯语摘要的模型。你打开排行榜，看 pn_summary 数据集上的得分，再比较在那里排名靠前的几个模型。

新手与专家：如果你刚接触，先打开 Space 看主表格，再动手改东西。挑两个模型比较它们的分数。

如果你熟悉这个领域，结果是普通的 JSON，config 部分记录模型的 dtype、名称和版本，results 部分是任务和指标的分数。代码读取这些文件，以及它自己创建的请求文件，并把它们转成 dataframe 行。提交检查写在 src/submission/check_validity.py 里。

结果和请求文件被存放
应用读取并转换它们
它们变成主表格里的行
你在榜单上比较模型

注意事项：榜单运行时会自己创建一些文件夹。

• 创建的文件夹：应用会创建四个存放队列和结果的工作文件夹，外加备份，出问题时重启 Space 会清掉它们
• 请求：请求文件由工具自动生成
• 托管：托管的副本运行在 cpu-basic 硬件上
• License: apache-2
• Cost to run: 未提及
• Data it reaches: 它读取的结果和请求文件，以及 pip 根据 requirements.txt 安装的 Python 包

Hugging Face 上的数据（2026年11月13日）

• 点赞：40
• 构建方式：gradio
• 许可证：apache-2.0

链接

• Space：https://huggingface.co/spaces/ParsBench/leaderboard
• 文件：https://huggingface.co/spaces/ParsBench/leaderboard/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。