VibeVoice 开源语音模型

VibeVoice：安装说明

这个工具包里只有安装说明，由 Mindket 编写。模型、演示和代码来自微软的仓库：https://github.com/microsoft/VibeVoice

这些说明不是微软写的，也没有得到它的认可。README 称 VibeVoice 是“Open-Source Frontier Voice AI”，并说它是“a family of open-source frontier voice AI models that includes both Text-to-Speech (TTS) and Automatic Speech Recognition (ASR) models.”，意思是：一个开源的前沿语音 AI 模型家族，既有文字转语音（TTS）模型，也有语音识别（ASR）模型。项目页是 https://microsoft.github.io/VibeVoice

许可证：MIT。LICENSE 文件是 MIT 许可证文本，写的是“Copyright (c) 2025 Microsoft”，见 https://github.com/microsoft/VibeVoice/blob/main/LICENSE 。ASR 页面也写了一句“This project is licensed under the MIT License.”。模型权重放在 Hugging Face 上，每个模型卡可能带有自己的条款。这些说明没有读过那些模型卡，所以依赖某个模型之前，请先读一遍。

README 以及 TTS 和 Realtime 页面说，这些模型只用于研究和开发，微软不建议在没有进一步测试的情况下用于商业或真实应用。它们的风险部分提醒，高质量的合成语音可能被用来冒充、欺诈和散布虚假信息，并说用户在分享 AI 生成的内容时，披露使用了 AI 是最佳做法。

仓库里能运行什么

| 模型 | 作用 | 本工具包里的说明 |
|---|---|---|
| VibeVoice-ASR-7B | 语音转文字，一次最长 60 分钟的音频，带谁、何时、说了什么 | setup/asr.md |
| VibeVoice-ASR-Streaming | 音频还在到达时就转写 | setup/asr-streaming.md |
| VibeVoice-Realtime (0.5B) | 用流式文字输入合成语音，一个说话人 | setup/realtime-tts.md |
| 通过 vLLM 运行 ASR | 把 ASR 模型作为兼容 OpenAI 的 API 提供服务 | setup/vllm-server.md |
| ASR 微调 | 用 LoRA 微调 VibeVoice-ASR | setup/finetuning.md |
| 托管演示和 CPU 引擎 | 只有链接：Playground、Colab、Azure AI Foundry Labs、Transformers、VibeASR.cpp | setup/hosted-and-cpu.md |

来源：https://github.com/microsoft/VibeVoice/blob/main/README.md

仓库里不再有什么

README 说，微软在 2025-09-05 删除了 VibeVoice-TTS 的代码，因为发现了“instances where the tool was used in ways inconsistent with the stated intent”，意思是有人以与其本意不符的方式使用了这个工具。它的模型表把 VibeVoice-TTS-1.5B 的快速试用写成“Disabled”，TTS 页面（https://github.com/microsoft/VibeVoice/blob/main/docs/vibevoice-tts.md）写的是“Installation and Usage: Disabled due to widespread misuse.”。这些说明不给它的任何步骤。

会安装什么

• vibevoice Python 包，在仓库的克隆里用 pip install -e . 安装。它的 pyproject.toml 写明 Python 3.10 或更高，依赖里有 torch、transformers（至少 4.51.3，低于 5.0.0）、accelerate、diffusers、gradio、fastapi 和 uvicorn。来源：https://github.com/microsoft/VibeVoice/blob/main/pyproject.toml
• Realtime 模型要用 pip install -e .[streamingtts]，它把 transformers 固定在 4.51.3。
• 模型权重，演示会按你在 --model_path 里传入的名字从 Hugging Face 取。vLLM 页面说权重会下载到容器里的 Hugging Face 缓存 ~/.cache/huggingface。
• vLLM 路线要一个 Docker 镜像：vllm/vllm-openai:v0.14.1。

先准备好这些

• 一台 GPU 机器。ASR 和 Realtime 页面推荐用 NVIDIA Deep Learning Container 来管理 CUDA 环境（ASR 验证过 NVIDIA PyTorch Container 24.07 到 25.12）。ASR 演示脚本的 --device 也可以选 auto、cuda、mps、xpu 或 cpu。Realtime 页面说，制作方的测试里 NVIDIA T4 和 Mac M4 Pro 达到了实时速度。
• 演示要用 ffmpeg：apt update && apt install ffmpeg -y
• 当你的环境里没有 flash attention 时：这些页面指向 https://github.com/Dao-AILab/flash-attention 。
• 每个模型都要从 Hugging Face 下载。

主要安装命令

每个有命令的页面都从克隆开始。ASR 和流式 ASR 页面接着运行下面的 pip install -e .；Realtime 页面改用 pip install -e .[streamingtts]；vLLM 页面只克隆，然后启动 Docker。

git clone https://github.com/microsoft/VibeVoice.git
cd VibeVoice

pip install -e .

来源：https://github.com/microsoft/VibeVoice/blob/main/docs/vibevoice-asr.md

各个模型的说明

• setup/asr.md
• setup/asr-streaming.md
• setup/realtime-tts.md
• setup/vllm-server.md
• setup/finetuning.md
• setup/hosted-and-cpu.md

更新或卸载

README 和文档没有给出更新或卸载步骤。这些说明（是 Mindket 的，不是微软的）按 pyproject.toml 里的包名来写：pip uninstall vibevoice 会移除这个包，删除克隆的文件夹会移除代码。下载的权重会留在 Hugging Face 缓存里，直到你在那里删掉。对于 vLLM 容器，vLLM 页面给出 docker stop vibevoice-vllm，流式的那个是 docker stop vibevoice-vllm-streaming。

使用数据和对外连接

README 和文档没有提使用数据。这些说明没有审查依赖项，其中包括 Gradio。这些页面里能看到的对外连接有：

• Hugging Face，用来下载模型权重。
• ASR 页面里的 Gradio 演示命令以 --share 结尾。脚本把这个参数描述为“Create a public link”。来源：https://github.com/microsoft/VibeVoice/blob/main/demo/vibevoice_asr_gradio_demo.py
• 流式演示的 --cloudflared 参数，vLLM 流式页面说它会下载 cloudflared 程序并建立公开链接。见 setup/vllm-server.md。
• 从 nvcr.io 和 vllm/vllm-openai 拉取的 Docker 镜像，以及从包索引安装的 pip 包。

来源

• README：https://github.com/microsoft/VibeVoice/blob/main/README.md
• ASR：https://github.com/microsoft/VibeVoice/blob/main/docs/vibevoice-asr.md
• ASR 流式：https://github.com/microsoft/VibeVoice/blob/main/docs/vibevoice-asr-streaming.md
• Realtime TTS：https://github.com/microsoft/VibeVoice/blob/main/docs/vibevoice-realtime-0.5b.md
• TTS（已停用）：https://github.com/microsoft/VibeVoice/blob/main/docs/vibevoice-tts.md
• vLLM ASR：https://github.com/microsoft/VibeVoice/blob/main/docs/vibevoice-vllm-asr.md
• vLLM 流式 ASR：https://github.com/microsoft/VibeVoice/blob/main/docs/vibevoice-vllm-asr-streaming.md
• 微调：https://github.com/microsoft/VibeVoice/blob/main/finetuning-asr/README.md
• pyproject.toml：https://github.com/microsoft/VibeVoice/blob/main/pyproject.toml