Turkish MMLU Leaderboard

Turkish MMLU Leaderboard

在土耳其语版 MMLU 基准上给 AI 模型排名，带筛选、可浏览的模型回答、分章节图表和提交新模型的表单。适合需要比较土耳其语模型的人。

由 alibayram 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个网页应用按土耳其语 MMLU 测试的得分给 AI 模型排名。你还可以查看每个模型的回答，按学科章节看图表，并提交新模型来评估。整个界面都是土耳其语。

适合谁：它适合需要在土耳其语任务上比较语言模型的研究者和工程师。模型作者也可以用提交表单让模型得到检查并排进队列。

行业 | 谁在用 | 怎么用 | 例子
研究 | NLP 研究者 | 在土耳其语任务上比较模型 | 把排名筛选到某一个模型家族
软件 | 机器学习工程师 | 挑一个土耳其语表现好的模型 | 通过章节图表找出薄弱环节
模型作者 | 开源模型开发者 | 登记一个模型来评估 | 先对照 Ollama 库检查模型
教育 | 学生 | 了解基准排行榜如何运作 | 在每个模型的回答旁边浏览题目

不处理土耳其语语言模型的人可以跳过它。

用在哪里：这个应用可以在三个地方运行。

• 网页浏览器，打开 Hugging Face 上这个 Space 的页面
• Windows、macOS 或 Linux，用 Python 运行本地副本
• Docker，使用仓库里的 Dockerfile

Use case | Who | What they get back
排名 | 研究者 | 可按家族和量化级别筛选的模型排名
模型回答 | 分析人员 | 题目和每个模型的回答，可搜索、可分页
章节分析 | 工程师 | 每个学科章节的图表和统计摘要
模型提交 | 模型作者 | 兼容性检查、内存估算和评估队列里的一个位置

如何设置：在线页面不需要安装任何东西。本地副本需要下面这些。

• Python 3.8 或更新版本
• pip
• requirements.txt 里列出的包
• Docker，只有在你更想用容器时才需要

1. 安装 Python。
2. 安装 Hugging Face 的 hub 包，并下载这个 Space 的副本。
3. 进入新文件夹，安装 Gradio 和 requirements.txt 里的包。
4. 用 python app.py 启动应用。
5. 使用 Docker 时，构建镜像，并在发布 7860 端口的情况下运行。

pip install -U huggingface_hub
hf download alibayram/turkish_mmlu_leaderboard --repo-type space --local-dir turkish_mmlu_leaderboard
cd turkish_mmlu_leaderboard
pip install gradio
pip install -r requirements.txt
python app.py

docker build -t turkish-mmlu-leaderboard .
docker run -p 7860:7860 turkish-mmlu-leaderboard

如何使用：打开页面，在各个板块之间切换。你可以筛选排名、浏览题目和回答、查看图表，或者填写提交表单。在本地副本上，用下面这条命令启动页面。

python app.py

工具 | 作用
Leaderboard | 给模型排名，并按家族和量化级别筛选
Model answers | 可搜索并翻页浏览题目和每个模型的回答
Performance analytics | 按章节绘制交互式图表并比较模型
Model submission | 在 Ollama 库里验证模型，并估算它需要的内存

示例：你把排名筛选到某个模型家族和某个量化级别，然后打开章节图表。你能看到剩下的模型在各个学科上的对比，也可以逐题阅读它们的回答。

新手与专家：如果你刚接触基准测试，排行榜就是同一份测试上的分数排序表。打开页面，先看排名的前几名，再打开回答板块，看看一个分数是由什么构成的。

如果你熟悉这个领域，这个应用读取三个 Hugging Face 数据集，分别对应排名、模型回答和章节结果。它带有缓存，每 30 分钟刷新一次数据，刷新失败时退回到已存的数据。提交检查会用 beautifulsoup4 和 requests 解析 Ollama 页面，然后估算 16-bit、8-bit 和 4-bit 下的内存，并套用 20GB 的上限。代码分为数据管理器、模型验证器，以及界面每个板块一个的模块。

三个数据集供给应用
缓存每 30 分钟刷新一次
板块显示排名、回答、图表
提交时在 Ollama 上检查模型

注意事项：界面、消息和表格标签全部是土耳其语。分数会自动更新，所以你不用手动重新加载。

• License: cc-by-nc-4，一种 Creative Commons 非商业许可
• Cost to run: 未提及
• Data it reaches: 三个 Hugging Face 数据集，以及你验证提交的模型时用到的 Ollama 库
• Limit: 兼容性检查有 20GB 的内存上限
• Not for: 商业用途，因为许可是非商业的

Hugging Face 上的数据（2026年11月13日）

• 点赞：30
• 构建方式：gradio
• 许可证：cc-by-nc-4.0

链接

• Space：https://huggingface.co/spaces/alibayram/turkish_mmlu_leaderboard
• 文件：https://huggingface.co/spaces/alibayram/turkish_mmlu_leaderboard/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。