Full Duplex Leaderboard

Full Duplex Leaderboard

用三个公开基准比较语音智能体：何时开口、该调用哪个工具，以及说话是否符合风格指令。适合构建或挑选语音智能体的团队。

由 aufklarer 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个排行榜用三个问题给语音智能体打分，每个问题一个标签页。智能体什么时候该开口，听到口头指令时该调用哪个工具，以及它说的话是否符合风格指令。结果来自三个公开的基准数据集，评分方法保存在仓库里。

适合谁：它适合构建或挑选语音智能体、想看实测数字而不是宣传的研究者和工程师。想了解每个基准是怎么评分的读者也适合用它。

行业 | 谁在用 | 怎么用 | 例子
语音 AI | 智能体开发者 | 比较不同系统的轮流发言表现 | 在轮流发言标签页查看每个系统的召回率和误报
软件 | 语音应用开发者 | 为指令处理挑选模型 | 阅读指令表里的工具路由结果
语音研究 | TTS 研究者 | 比较生成语音遵循风格的情况 | 把风格表和真人录音放在一起看
评测 | 基准作者 | 研究分数是怎么构成的 | 打开仓库里的协议文件

想要通用聊天机器人排名的人可以跳过它，因为这些测试只涉及语音行为。

用在哪里：这个排行榜可以在两个地方运行。

• 网页浏览器，打开 Hugging Face 上这个 Space 的页面
• Windows、macOS 或 Linux，用 Python 运行本地副本

Use case | Who | What they get back
轮流发言检查 | 智能体开发者 | 按召回率、误报和检测延迟排的名次
工具调用检查 | 开发者 | 在缺少工具时仍发起调用的次数统计
语音风格检查 | 研究者 | 每个语音系统通过风格检查的比例

如何设置：在线页面不需要安装任何东西。本地副本需要下面这些。

• Python 和 pip
• Windows、macOS 或 Linux
• requirements.txt 里列出的包

1. 安装 Python。
2. 安装 Hugging Face 的 hub 包，并下载这个 Space 的副本。
3. 进入新文件夹，安装 Gradio 5.50.0 和 requirements.txt 里的包。
4. 用 python app.py 启动应用。

pip install -U huggingface_hub
hf download aufklarer/full-duplex-leaderboard --repo-type space --local-dir full-duplex-leaderboard
cd full-duplex-leaderboard
pip install gradio==5.50.0
pip install -r requirements.txt
python app.py

如何使用：打开页面，在各个标签页之间切换。每个标签页显示一个基准的表格。在本地副本上，用下面这条命令启动页面。

python app.py

工具 | 作用
轮流发言标签页 | 用 TurnBench 开发集给系统在何时开口上排名
指令标签页 | 用 SLURP 测试集给工具路由打分
InstructTTS 标签页 | 给语音是否遵循风格指令打分
results 文件夹 | 存放每个赛道的结果行
protocol 文件夹 | 存放完整的评分协议

示例：你打开轮流发言标签页，看哪些系统最会判断何时开口。表格用一个总分给它们排名，同时分别显示召回率、误报和检测延迟。

新手与专家：如果你刚接触这类工具，先从轮流发言标签页开始。它问的事很简单，就是智能体是否在正确的时刻开口，表格里有各列的解释。

如果你熟悉这个领域，轮流发言按 Youden's J 排名，也就是召回率减去误报率，显示时乘以 100。指令得分是作者自己基于 SLURP 做的路由指标，不是 SLURP 的误激活得分。语音风格标签页对部分系统报告 150 条双语风格检查的通过数，用 Gemini 3.1 Pro 评分，只有英语的试点样本更小。

三个公开基准
运行并测量各个系统
结果行保存为 JSON 文件
标签页显示排名表

注意事项：作者只列出他们自己运行过的配置。结果行放在 results 文件里，显示名称放在 roster 文件夹，合并的目录放在一个 data 文件里。

• License: 这个 Space 使用 MIT
• Cost to run: 未提及
• Data it reaches: 仓库里的基准数据和结果文件，以及这个 Space 指定的 InstructTTSEval 数据集
• Data licences: TurnBench 只能非商业使用，不得克隆声音，SLURP 的文字是 CC BY 4.0，音频是 CC BY-NC 4.0
• Not for: 把指令得分当作 SLURP 自己的误激活或背景语音指标

Hugging Face 上的数据（2026年11月13日）

• 点赞：2
• 构建方式：gradio
• 许可证：mit

链接

• Space：https://huggingface.co/spaces/aufklarer/full-duplex-leaderboard
• 文件：https://huggingface.co/spaces/aufklarer/full-duplex-leaderboard/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。