Pipecat Tone

Pipecat Tone

给 Pipecat 语音智能体提供两个小型 CPU 模型，一个读取来电者的情绪和讽刺，一个给智能体的回复加上富有表现力的朗读标签。适合语音智能体的开发者。

由 pipecat-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Pipecat Tone 是给 Pipecat 语音智能体用的一对小型 CPU 模型。语气读取器判断用户这一轮话是什么意思，给出情绪和讽刺检查，并附带校准过的置信度。语气标注器逐句给智能体的纯文本回复加上表达标签，让语音引擎去演绎。

适合谁：它适合用 Pipecat 构建语音智能体、希望它们能听出语气并更有表现力地回答的开发者。两个模型在 CPU 上都是毫秒级运行。

Industry | Who uses it | How they use it | Example
语音 AI | Pipecat 开发者 | 给智能体加上语气读取和有表现力的回复 | 用更柔和的声音道歉的智能体
客户支持 | 客服自动化团队 | 让智能体察觉来电者的愤怒或讽刺 | 发现一句关于久等的讽刺话
软件 | 语音产品开发者 | 塑造文字转语音的声音如何说出一段回复 | 给订单号标出放慢的片段

想要判断或刻画语音智能体所接触的人的那些人不应该使用它，因为卡片明确排除了这种用途。

用在哪里：

• Pipecat 1.15.0 或更新版本
• 带有语音转文字、大模型和文字转语音的语音智能体流水线
• Windows、macOS 或 Linux 上的 CPU
• 只限英语对话

Use case | Who | What they get back
读取语气 | 语音智能体开发者 | 一个情绪和一个讽刺值，附带置信度数字
有表现力的回复 | 语音开发者 | 关于朗读方式、放慢片段、重读词和呼吸的标签
给大模型的上下文 | 智能体开发者 | 一条关于用户怎么说话的说明，放在他们的消息前面

如何设置：

• Pipecat 1.15.0 或更新版本
• 带 tone 附加项的 pipecat-ai 包
• 能演绎这些表达标签的文字转语音声音

1. 如果想把文件放在磁盘上，就安装 Hugging Face hub 软件包。
2. 安装带 tone 附加项的 pipecat-ai 包。
3. 打开表达式对话设置，并加上两个处理器。

pip install -U huggingface_hub

hf download pipecat-ai/tone-models

如何使用：在流水线设置里打开表达式对话，然后把读取器放在语音转文字之后，把标注器放在大模型之后。模型会在流水线第一次启动时从这个仓库下载。给标注器传入 size 32m 可以改用更大的那个。呼吸需要在表达策略里启用 BREATHE 引导。

from pipecat.processors.tone.reader import PipecatToneReader
from pipecat.processors.tone.tagger import PipecatToneTagger

pipeline = Pipeline([
    transport.input(), stt, PipecatToneReader(), user_aggregator,
    llm, PipecatToneTagger(), tts, transport.output(), assistant_aggregator,
])

Tool | What it does
PipecatToneReader | 读取每一轮用户话语的情绪和讽刺
PipecatToneTagger | 给智能体的回复写出表达标签
size 32m | 选用更大的标注器，得分稍高，运行稍慢

示例：来电者说了一句关于久等的讽刺话。读取器把这一轮标为愤怒、讽刺值很高，大模型会在看到文字之前先看到这条说明。大模型用纯文本回答，标注器再给声音加上标签，比如带歉意的语气和一次轻微的呼吸。

新手与专家：语音智能体各部分之间通常只传递文字，所以语气就丢了。这些模型把语气放在同一条文本流里一起传递。第一步可以先给现有的 Pipecat 流水线加上这两个处理器，听听有什么不同。

卡片把这称为实时上下文标准。读取器是基于 MiniLM 的分类器，标注器是带六个头的小型 Ettin 模型。读取器在 Apple M1 Max 上用四个 CPU 线程时，每轮的 p95 耗时是 5.0 毫秒。

用户语音变成文字
读取器加上情绪和讽刺说明
大模型写出纯文本回复
标注器加标签，声音去演绎

注意事项：

• License: BSD 2-Clause。
• Cost to run: 未提及。两个模型都在 CPU 上运行。
• Data it reaches: 模型在流水线第一次启动时从 Hugging Face 下载，然后处理你送进来的对话。
• Not for: 判断或刻画智能体所接触的人。卡片说它只用来塑造声音听起来的样子。
• 只支持英语，因为它学自客服、助手和会议对话。

Title: 不同大小标注器的综合得分
17M tagger: 0.753 score
32M tagger: 0.767 score

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 框架：onnx
• 最近 30 天下载：0
• 点赞：10
• 许可证：bsd-2-clause
• 语言：en
• 基于：sentence-transformers/all-MiniLM-L6-v2
• 标签：onnx, pipecat, voice-agents, emotion-recognition, expressive-tts, text-classification

链接

• 模型：https://huggingface.co/pipecat-ai/tone-models
• 文件：https://huggingface.co/pipecat-ai/tone-models/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download pipecat-ai/tone-models

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。