Pipecat backchannel detector

Pipecat backchannel detector

在语音机器人说话时听用户，区分一句简短的 "mm-hmm" 和真正的打断，让机器人继续说或停下。这是一个给语音智能体开发者用的微型流式音频模型。

由 pipecat-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个用于语音智能体的小型流式音频模型。机器人说话时，它判断用户是在附和，比如简短的 "mm-hmm" 或 "right"，还是要抢话，比如 "wait" 或 "no"。机器人随后继续说或停下。

它直接处理音频，所以比转写更早做出判断。模型很小，全精度约 4 MB，每 40 ms 的音频块大约用 0.3 ms 的 CPU。

适合谁：它适合开发语音智能体的开发者，想快速处理打断，又不想要一个要么抢话、要么一有小声音就停的机器人。

行业 | 谁在用 | 怎么用 | 例子
软件 | 语音智能体开发者 | 给会说话的机器人加上打断处理 | 听到 mm-hmm 时继续说
客户支持 | 联络中心团队 | 让来电者自然插话 | 来电者说 wait 时停下
语音产品 | 产品团队 | 让机器人轮流说话更自然 | 调整抢话阈值
研究 | 对话研究者 | 研究语音中的附和检测 | 回放保留的对话

如果你的机器人不说话，或者你要处理英语以外的语言，可以跳过它。

用在哪里：它用来放在流式语音智能体流程里，在 CPU 上运行。你在装有 Python 的 Windows、macOS 或 Linux 上下载文件。

• Pipecat 风格的语音智能体循环
• CPU 上的 ONNX 运行时
• 英语语音对话

用途 | 谁 | 得到什么
附和检查 | 语音智能体开发者 | 用户只是在附和的概率
打断检查 | 语音智能体开发者 | 用户要抢话的概率
语音活动 | 研究者 | 辅助的用户语音活动信号

如何设置：你需要带 pip 的 Python 来下载文件，还需要 ONNX 运行时来在你的语音智能体里运行模型。仓库里有默认的 fp32 模型和 int8 模型。

• 带 pip 的 Python
• ONNX 运行时
• 能发送 16 kHz 音频块的语音智能体

1. 安装 Hugging Face hub 包。
2. 下载仓库文件。
3. 加载 fp32 ONNX 文件，想要更小的模型就加载 int8 的。

pip install -U huggingface_hub
hf download pipecat-ai/backchannel-detector

如何使用：对用户麦克风音频（经过回声消除）的每个 40 ms 块调用一次模型。你还要传入机器人的说话状态，并在下一次调用时把每个缓存输出送回去。

工具 | 作用
backchannel-fp32.onnx | 默认的流式模型
backchannel-int8.onnx | int8 量化版本
model.safetensors | 同一网络的 PyTorch 权重
model.json | 配置、块大小和状态张量名称

输出是五个标签上的一组概率，附和指 continuer 和 assessment 两个标签，抢话指 negative 和 floor-take 两个标签。

示例：机器人正说到一半，用户说了 "mm-hmm"。模型报告很高的附和概率，所以机器人继续说。如果用户说 "wait"，抢话概率上升，机器人就停下。

新手与专家：如果你是新手，把它想成一个听者，告诉语音机器人什么时候该停。第一件事是读它的 model.json，看它需要的块大小和状态。

如果你懂这个领域，一个因果卷积编码器接一个 GRU，另有语音活动和语音活动预测两个辅助输出。模型卡用保存下来的对话做测试，这些对话会实时回放给智能体。

用户音频以 40 ms 块到达
模型结合机器人状态读取
输出意图概率
机器人继续说或停下

注意事项：模型卡报告了两组保留对话上的结果，捕捉一次打断的中位时间约为 280 到 300 ms。

指标 | Open Yap | otoSpeech
700 ms 内捕捉到的打断 | 82.9 % | 81.2 %
被当成附和而漏掉的打断 | 2.6 % | 4.1 %
机器人接着说完的附和 | 86.5 % | 75.2 %

• License: bsd-2-clause
• Cost to run: 未提及费用，因为模型在 CPU 上运行
• Data it reaches: 你送入的音频块，不包含训练数据
• Not for: 英语以外的语言，或者人对机器人说话的场景，因为它是用人与人的对话训练的
• Not for: 真实的电话编解码器（未测试），或真实的回声消除残留

Hugging Face 上的数据（2026年11月13日）

• 任务：audio classification
• 框架：onnx
• 参数量：961K
• Weights: about 4 MB in F32; about 1 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：0
• 点赞：17
• 许可证：bsd-2-clause
• 语言：en
• 标签：onnx, safetensors, pipecat, voice-agents, turn-taking, backchannel, streaming, audio-classification

链接

• 模型：https://huggingface.co/pipecat-ai/backchannel-detector
• 文件：https://huggingface.co/pipecat-ai/backchannel-detector/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download pipecat-ai/backchannel-detector

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。