Arabic LLM Leaderboard - Broad (ABL)

Arabic LLM Leaderboard - Broad (ABL)

在 Gradio 排行榜里按一个阿拉伯语基准给语言模型排名，代码也可以改造成你自己的排行榜。适合阿拉伯语 NLP 研究人员和比较模型的团队。

由 silma-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个 Space 是针对阿拉伯语的大语言模型排行榜。它读取每个模型的结果文件，把它们放进一张表里，数据集是 silma-ai 的 arabic-broad-benchmark。这个仓库也是运行排行榜的模板，里面有负责表格、读取结果和处理提交的文件。

适合谁：它适合为阿拉伯语开发或挑选语言模型的人，也适合想自己搭建排行榜的开发者。

Industry | Who uses it | How they use it | Example
研究 | 阿拉伯语 NLP 研究人员 | 在同一个阿拉伯语基准上比较模型 | 读表格，看一个模型排在哪里
模型开发 | 发布阿拉伯语模型的团队 | 看自己的模型和其他模型相比处在什么位置 | 查找自己模型的结果行
产品团队 | 选模型的工程师 | 为阿拉伯语场景筛选候选模型 | 在表格里比较两个候选模型
软件 | 开发者 | 复用代码来搭建自己的排行榜 | 改路径和任务，再添加结果文件

如果你需要自己测试模型，可以跳过它，因为排行榜只展示结果文件，不会替你运行基准测试。

用在哪里：

• 浏览器：打开 Hugging Face 上这个 Space 的页面，不用安装任何东西
• 在 Windows、macOS 或 Linux 上，用 Python 运行的副本

Use case | Who | What they get back
查看排名 | 研究人员 | 一张模型和它们得分的表格
查看某个模型 | 模型团队 | 那个模型的结果行
搭建排行榜 | 开发者 | 一个可以改造的现成排行榜布局

如何设置：在线版本什么都不用准备。要在自己的电脑上运行副本，你需要下面这些。

• 装有 pip 的 Python，系统可以是 Windows、macOS 或 Linux
• Hugging Face hub 客户端，第一步会安装它
• requirements.txt 里列出的软件包

1. 安装 Hugging Face hub 客户端。
2. 把这个 Space 的文件下载到本地文件夹。
3. 进入这个文件夹。
4. 安装这个 Space 指定的 Gradio 版本。
5. 从 requirements.txt 安装其余的软件包。
6. 启动 app.py。

pip install -U huggingface_hub
hf download silma-ai/Arabic-LLM-Leaderboard --repo-type space --local-dir Arabic-LLM-Leaderboard
cd Arabic-LLM-Leaderboard
pip install gradio==5.29.0
pip install -r requirements.txt
python app.py

要运行你自己的排行榜，请修改 src/env.py 里的路径和 src/about.py 里的任务。每个结果文件都是下面这种结构的 JSON 文件。

{
    "config": {
        "model_dtype": "torch.float16", # or torch.bfloat16 or 8bit or 4bit
        "model_name": "path of the model on the hub: org/model",
        "model_sha": "revision on the hub",
    },
    "results": {
        "task_name": {
            "metric_name": score,
        },
        "task_name2": {
            "metric_name": score,
        }
    }
}

如何使用：在线使用时，打开这个 Space 的页面，读那张表。要运行副本，用下面的命令启动它。请求文件由工具自己创建，所以你不用写。

python app.py

Tool | What it does
src/env.py | 存放默认排行榜需要修改的大部分变量，包括它的路径
src/about.py | 定义排行榜涵盖的任务
src/display/utils.py | 设置主表格的列名和属性
src/leaderboard/read_evals.py | 读取结果文件和请求文件，并把它们变成表格的行
src/submission/submit.py | 处理提交，由 check_validity.py 负责过滤

示例：一个团队想为自己的模型搭一个排行榜。它在 src/env.py 里设置路径，在 src/about.py 里列出任务，给每个模型添加一个结果文件，然后启动应用。表格就会显示每个模型的得分。

新手与专家：如果你是新手，先在线打开这个 Space 读表格。每一行是一个模型，它的得分来自背后的结果文件。

如果你熟悉这个领域，这个布局沿用了常见的 Hugging Face 排行榜模板。结果文件和请求文件由 read_evals.py 和 populate.py 里的代码读成数据表的行，提交会先经过有效性检查。如果这个 Space 出问题，重启它会清掉它创建的 eval-queue 和 eval-results 文件夹。

为每个模型添加结果文件
代码把它们读成表格的行
Gradio 应用显示排好名的表格
提交在进入之前先被检查

注意事项：来源是模板风格的 README，所以这里没有描述基准的任务和评分方式。

• License: apache-2，按 Hugging Face 上的标注
• Cost to run: 没有提到 API 密钥或付费服务，在线版本运行在 cpu-basic 硬件上
• Data it reaches: 仓库里的结果文件和请求文件，以及这个 Space 在 Hugging Face 上列出的基准数据集
• Not for: 来源没有列出排除项，排行榜只报告结果，不会替你运行基准测试

Hugging Face 上的数据（2026年11月13日）

• 点赞：58
• 构建方式：gradio
• 许可证：apache-2.0

链接

• Space：https://huggingface.co/spaces/silma-ai/Arabic-LLM-Leaderboard
• 文件：https://huggingface.co/spaces/silma-ai/Arabic-LLM-Leaderboard/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。