Chatterbox-Flash

Chatterbox-Flash

一个零样本英语文字转语音模型，能从简短参考片段复制声音，并按块低延迟流式输出音频。适合开发语音助手和旁白工具的开发者。

由 ResembleAI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Chatterbox-Flash 是 Resemble AI 推出的文字转语音模型，采用零样本方式：你给它一段简短的参考录音，它就用那个声音说出新的文字。它在每个块内并行解码多个语音词元，并按块流式输出音频。模型卡称它的质量接近较慢的自回归系统，而延迟低得多。

适合谁：适合开发英语语音助手、旁白工具或实时语音功能、希望音频尽快开始的开发者。请只使用你有权使用的声音，因为它会从参考片段中复制声音。

Industry | Who uses it | How they use it | Example
软件 | 语音应用开发者 | 边生成边流式输出语音回复 | 很快把助手的回答说出来
媒体 | 旁白和音频团队 | 用选定的声音把脚本转成语音 | 用你自己录制的声音朗读脚本
无障碍 | 产品团队 | 给文字界面加上语音输出 | 朗读屏幕上的文字
研究 | 语音研究人员 | 研究块扩散文字转语音 | 比较不同解码设置的速度

如果你需要英语以外的语言，可以跳过它，因为模型页只列出英语。

用在哪里：

• 使用 chatterbox-flash 包的 Python 脚本，如模型卡示例所示在 CUDA 显卡上运行
• Apple Silicon Mac，通过 MLX，4-bit 量化还能再提速
• Windows、macOS 或 Linux，用 Hugging Face 的 hub 工具下载文件后即可

Use case | Who | What they get back
流式语音 | 语音应用开发者 | 每个块完成后就得到音频包
用片段克隆声音 | 音频创作者 | 以你有权使用的参考录音的风格说出新内容
本地 Mac 合成 | Mac 用户 | 据模型卡，在 M4 上比实时更快的语音

如何设置：

• 安装好 Python 和 pip
• 模型卡示例用的 CUDA 显卡，或走 MLX 路线用的 Apple Silicon Mac
• 一段你可以使用的声音的简短参考音频文件

1. 如果想把文件放在本地，先安装 Hugging Face hub 包并下载文件。
2. 用 pip 安装 chatterbox-flash 包。
3. 用你自己的参考文件运行下面的代码。

pip install -U huggingface_hub
hf download ResembleAI/chatterbox-flash

pip install chatterbox-flash

如何使用：把模型加载到 GPU 上，然后用你的文字和参考录音的路径调用 generate。代码会把结果保存为音频文件。

import torchaudio as ta
from chatterbox_flash import ChatterboxFlashTTS
tts = ChatterboxFlashTTS.from_pretrained("ResembleAI/chatterbox-flash", device="cuda")
wav = tts.generate(
    "Hello, world.",
    audio_prompt_path="reference.wav",
)
ta.save("out.wav", wav.unsqueeze(0).cpu(), tts.sr)

Tool | What it does
ChatterboxFlashTTS.from_pretrained | 把模型加载到你选的设备上
generate | 说出文字，把参考片段作为声音提示
ta.save | 把生成的音频写入文件

File | What it is
t3_flash.safetensors | 块扩散解码器，基于 520M 的 Llama，多了一个掩码词元
s3gen.safetensors | 流匹配声码器
ve.safetensors | 声音编码器，取自原版 Chatterbox
tokenizer.json | 英语分词器，同样取自原版 Chatterbox

示例：你用文字 "Hello, world." 和名为 reference.wav 的参考录音运行代码。它会写出 out.wav，也就是用参考声音风格说出的这段文字。

新手与专家：如果你刚接触，先用一段简短清晰的参考片段运行一次，听听 out.wav。然后换一段文字，比较声音的相似程度。

专家会看到一个块扩散解码器，每个块里同时解开多个语音词元，并用提前解码的调度把每个块的平均步数减少约 20%。默认值是块大小 16、每块最多 10 步去噪、温度 0.2，以及带 CUDA 图捕获的 FlashInfer 分页 KV 缓存。

Title: 实时因子，越低越快
默认设置: 0.107 RTF
最快设置: 0.076 RTF
Mac M4 使用 MLX: 0.778 RTF
Mac M4 使用 MLX 4-bit: 0.665 RTF

你提供文字和参考片段
解码器并行填充每个块
声码器把词元变成音频
音频按块流式输出

注意事项：

• Speed: 据模型卡，默认设置下约为实时的 9 倍，最快设置下约为 13 倍
• Latency: 在测试的设置中，首个音频包的时间为 103 到 119 毫秒
• Language: 仅限英语
• License: MIT
• Cost to run: 未提及，不需要 API 密钥或账号，不过示例需要 CUDA 显卡
• Data it reaches: 会从 Hugging Face 下载权重，并读取你提供的参考音频和文字
• Not for: 使用你无权使用的声音，也不支持英语以外的语言

Hugging Face 上的数据（2026年11月13日）

• 任务：text to speech
• 框架：chatterbox-flash
• 最近 30 天下载：0
• 点赞：33
• 许可证：mit
• 语言：en
• Quantized versions: 1
• Fine-tunes: 2
• 标签：chatterbox-flash, text-to-speech, zero-shot-tts, block-diffusion, speech-synthesis

链接

• 模型：https://huggingface.co/ResembleAI/chatterbox-flash
• 文件：https://huggingface.co/ResembleAI/chatterbox-flash/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ResembleAI/chatterbox-flash

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。