VibeVoice-ASR

VibeVoice-ASR

微软研究院的 8.7B 语音转文字模型，一次可转写最长 60 分钟的音频，说明谁在什么时间说了什么，支持可选的热词和超过 50 种语言。

由 microsoft 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：VibeVoice-ASR 是微软研究院的语音转文字模型，有 8.7B 参数。它一次可以处理最长 60 分钟的连续音频，并返回一份结构化的转写稿，说明谁在什么时间说了什么。你可以提供热词，比如人名或专业术语，来引导识别。它支持超过 50 种语言，不需要设置语言，也能应付说话人切换语言的情况。

适合谁：它适合需要转写长会议、访谈、播客和讲座，并且需要说话人标签和时间戳的团队，也适合开发转写工具的开发者。

行业 | 谁在用 | 怎么用 | 例子
媒体和播客 | 制作人 | 转写整期节目并带说话人标签 | 输入一小时的访谈，读出谁说了什么，以及时间
商业 | 会议纪要团队 | 把长录音变成结构化的笔记 | 添加公司和产品名作为热词来帮助识别
研究 | 语音研究者 | 用说话人和时间数据研究多语言语音 | 运行说话人在句子中途切换语言的音频

如果你的音频很短，或者需要一个小模型，更轻的模型可能更适合你，因为这个模型有 8.7B 参数。

用在哪里：

• 使用 transformers 库的 Python 项目，Hugging Face 页面就是这样列出的
• 内存足够放下权重的电脑，BF16 下约 17.3 GB
• 一次最长 60 分钟的长录音
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用途 | 谁用 | 能得到什么
会议转写 | 运营团队 | 带说话人和时间戳的文字
访谈和播客笔记 | 制作人 | 一小时音频的谁、何时、说了什么的转写稿
领域术语 | 专业团队 | 对你提供的人名和专业词汇有更好的识别

如何设置：
你需要先准备：

• Python 和 Hugging Face 命令行
• 约 17.3 GB 的 BF16 权重空间，或 4 位下约 4.3 GB，这只是估算值
• 项目 GitHub README 上的安装步骤，模型卡指向了它

1. 安装 Hugging Face 工具。
2. 下载模型文件。
3. 按模型卡指向的安装和使用页面操作，因为模型卡本身没有代码。

pip install -U huggingface_hub
hf download microsoft/VibeVoice-ASR

如何使用：
模型卡本身没有代码。它把你指向 GitHub README 了解安装和使用，还列出了一个演示、一份微调指南和一份 vLLM 指南。你把最长 60 分钟的音频交给模型，如果愿意，再加上一份热词列表。它会返回一份说明谁在什么时间说了什么的转写稿。

部分 | 作用
热词 | 引导识别的人名、专业术语或背景信息
单次处理 | 在 64K token 内一次处理最长 60 分钟的音频
丰富转写 | 在一份输出里结合语音识别、说话人标签和时间戳

示例：你给它一段一小时的访谈和几个热词，比如嘉宾的名字和一个产品名。你会得到一份标出每个说话人、每次发言时间和所说内容的转写稿。

新手与专家：第一次尝试可以用一段几分钟、有两个说话人的短录音。先看它如何列出说话人和时间，再试一小时的文件。转写之前，请先征得录音中人们的同意。

对懂行的人来说，许多语音模型会把音频切成短片段，从而丢失更大的上下文。这个模型在 64K token 内接受最长 60 分钟的输入，所以说话人跟踪和语义在整整一小时里保持一致。一个模型同时完成识别、说话人标签和时间戳，而不是一串独立的工具。模型卡展示了 DER、cpWER 和 tcpWER 的图表，数字只以图片形式给出。

最长 60 分钟的音频输入
你提供的热词引导识别
一个模型完成转写并标出说话人和时间
你得到谁、何时、说了什么

注意事项：

Title: 模型信息
项目 | 数值
参数量 | 8.7B
BF16 权重 | 约 17.3 GB
4 位权重 | 约 4.3 GB，估算值
最长音频 | 一次 60 分钟
上下文 | 64K token
语言 | 超过 50 种

• 评估：模型卡展示了 DER、cpWER 和 tcpWER 的图表，具体数字请看模型页面。
• 语言：超过 50 种，不需要设置语言。Hugging Face 的记录列出英语、中文、西班牙语、葡萄牙语、德语、日语、韩语和法语。
• 同意：转写别人的声音之前，请先获得许可。
• 反馈：团队请大家报告意外或有害的行为，并说会用修复来更新仓库。
• License: MIT
• Cost to run: 没有提到 API 密钥或付费服务。你需要能运行 8.7B 模型的硬件。
• Data it reaches: 它从 Hugging Face 下载文件。如果你自己运行模型，音频会留在你的机器上。
• Not for: 没有提到。

Hugging Face 上的数据（2026年11月13日）

• 任务：automatic speech recognition
• 框架：transformers
• 参数量：8.7B
• Weights: about 17.3 GB in BF16; about 4.3 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：715,654
• 点赞：1,328
• 许可证：mit
• 语言：en, zh, es, pt, de, ja, ko, fr
• Quantized versions: 12
• Fine-tunes: 20
• 标签：transformers, safetensors, vibevoice, transcriptoin, diarization, speech-to-text, automatic-speech-recognition

链接

• 模型：https://huggingface.co/microsoft/VibeVoice-ASR
• 文件：https://huggingface.co/microsoft/VibeVoice-ASR/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download microsoft/VibeVoice-ASR

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。