VibeVoice-1.5B

VibeVoice-1.5B

把书面对话变成最多四位说话人、约 90 分钟的语音，是微软开放的文字转语音模型，适合研究英语和中文的播客式对话。

由 microsoft 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：VibeVoice-1.5B 是微软的文字转语音模型，用于多人声的长对话，比如播客。它可以生成约 90 分钟、最多 4 位说话人的语音。许多语音模型只支持一两个声音，而它能让说话人保持一致，并处理轮流发言。它支持英语和中文。

适合谁：如果你是想探索逼真对话生成的语音和音频研究人员，它适合你，因为模型卡把用途限定为研究。

Title: Who uses this model
行业 | 谁在用 | 怎么用 | 例子
语音研究 | 研究人员 | 研究长时间的多人语音生成 | 生成一段四人对话，检查说话人是否一致
媒体研究 | 音频工程师 | 为研究原型化播客式音频 | 把一篇书面访谈渲染成双人录音
语言技术 | 开发者 | 测试英语和中文的对话语音 | 对比两种支持语言的输出

如果你想要音乐、音效或其他语言的语音，可以跳过它。

用在哪里：

• Windows、macOS 或 Linux 上的 Python
• 用 transformers 库加载模型的研究环境

Title: Jobs it does
用途 | 适合谁 | 得到什么
播客式对话 | 研究人员 | 为带多个声音的书面对话生成的语音
长篇语音 | 音频工程师 | 最长约 90 分钟的连续语音
双语言语音 | 开发者 | 由文字生成的英语或中文语音

如何设置：你需要 Python 和约 5.4 GB 的磁盘空间放 BF16 权重。模型卡没有列出安装命令，而是让你去看项目的 GitHub README。

• 带 pip 的 Python
• huggingface_hub 包
• 项目 GitHub README 里的安装步骤

1. 用两条 Hugging Face 命令下载模型文件。
2. 打开项目的 GitHub README，按它的安装部分操作。
3. 按该 README 的说明运行模型。

pip install -U huggingface_hub
hf download microsoft/VibeVoice-1.5B

如何使用：模型卡没有给出运行命令，而是指向 GitHub README 了解用法。一般来说，你提供一段书面对话，模型返回音频，每位说话人的声音保持一致。只使用你有权使用的声音。

示例：你提供一段双人访谈的短剧本，每行标明说话人，然后运行模型。输出是跟着对话走的语音，每位说话人的声音在各轮之间保持稳定。

新手与专家：文字转语音软件会把文字读出来。这个模型是为几个人之间的长谈设计的，比如一期播客。第一次小测试就是用项目 README 里的一段简短双人剧本。

一个 Qwen2.5-1.5B 语言模型读取文字和对话的走向。然后一个 4 层、约 123M 参数的扩散头预测声学细节。两个语音分词器以 7.5 Hz 运行，让长序列的成本可以承受。分词器先预训练并冻结，之后只训练语言模型和扩散头，上下文逐步增长到 64K token。

输入书面对话
Qwen2.5-1.5B 读取上下文和对话走向
扩散头预测声学细节
声学分词器解码成语音

注意事项：模型卡列出了其他规格。Large 版本显示约 45 分钟的生成长度，它的权重被标为已禁用。其他人发布了 9 个量化版本和 17 个微调版本。模型卡禁止在没有录音同意的情况下模仿声音、制作真人的虚假录音，以及实时变声。

Title: Generation length by model
VibeVoice-1.5B: 90 min
VibeVoice-Large: 45 min

• License: MIT。
• Cost to run: 未提及。
• Data it reaches: 文件来自 Hugging Face，之后模型在你自己的电脑上运行。
• Not for: 研究以外的用途、其他语言、音乐或音效、模仿真人，以及实时的深度伪造通话。

Hugging Face 上的数据（2026年11月14日）

• 任务：text to speech
• 框架：transformers
• 参数量：2.7B
• Weights: about 5.4 GB in BF16; about 1.4 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：217,923
• 点赞：2,520
• 许可证：mit
• 语言：en, zh
• Quantized versions: 9
• Fine-tunes: 18
• 标签：transformers, safetensors, vibevoice, text-to-audio, podcast, text-to-speech

链接

• 模型：https://huggingface.co/microsoft/VibeVoice-1.5B
• 文件：https://huggingface.co/microsoft/VibeVoice-1.5B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download microsoft/VibeVoice-1.5B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。