spkrec-ecapa-voxceleb

spkrec-ecapa-voxceleb

用 SpeechBrain 里的 ECAPA-TDNN 模型判断两段录音是否来自同一个说话人，也可以输出说话人嵌入。适合开发者和语音研究人员。

由 speechbrain 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：spkrec-ecapa-voxceleb 是适用于 SpeechBrain 的预训练说话人验证模型。它能告诉你两段录音是否来自同一个人，也可以输出说话人嵌入，也就是描述一个声音的数字向量。它在 Voxceleb 1 和 Voxceleb2 的训练数据上训练。

适合谁：需要在 Python 里比较声音的开发者和语音研究人员最适合它。数据团队可以用嵌入把录音按说话人分组。

行业 | 使用者 | 使用方式 | 例子
安全 | 应用开发者 | 检查两段录音是否来自同一个说话人 | 把新录音与之前保存的录音做比较
音频分析 | 数据团队 | 提取嵌入，按声音给录音分组 | 把一个文件夹里的录音按说话人排序
研究 | 语音研究人员 | 把它当作说话人验证的基线 | 在 Voxceleb1 测试集上对比自己的结果

如果你需要语音转文字、声音克隆，或者在你自己的数据上经过验证的模型，可以跳过它。

用在哪里：在运行 SpeechBrain 的 Python 脚本里使用它。

• 使用 SpeechBrain 和 torchaudio 的 Python 脚本
• 装有 Python 的 Windows、macOS 或 Linux
• 加载时传入设备选项，就可以使用 CUDA GPU

用例 | 谁用 | 得到什么
同一说话人检查 | 开发者 | 一个分数，以及同一说话人为 1、不同说话人为 0 的预测
声音嵌入 | 数据团队 | 每段录音一个嵌入，可以用来比较或分组
基线测试 | 研究人员 | 一个用于说话人验证的预训练参考系统

如何设置：你需要 Python、SpeechBrain 和一些音频。

• Windows、macOS 或 Linux 上的 Python
• SpeechBrain，模型卡用一条指向代码仓库的 pip 命令从它的 develop 分支安装
• torchaudio，用来加载你的录音
• 16kHz 单声道的音频，或者让文件级的调用帮你转换

1. 按模型卡的说明安装 SpeechBrain。
2. 也可以用 Hugging Face hub 包下载模型文件。
3. 运行下一节中的一段 Python 代码。

pip install -U huggingface_hub
hf download speechbrain/spkrec-ecapa-voxceleb

如何使用：用模型名加载分类器，再传入一段录音得到嵌入。

import torchaudio
from speechbrain.inference.speaker import EncoderClassifier
classifier = EncoderClassifier.from_hparams(source="speechbrain/spkrec-ecapa-voxceleb")
signal, fs =torchaudio.load('tests/samples/ASR/spk1_snt1.wav')
embeddings = classifier.encode_batch(signal)

要比较两段录音，加载验证类，对两个文件调用 verify_files。

from speechbrain.inference.speaker import SpeakerRecognition
verification = SpeakerRecognition.from_hparams(source="speechbrain/spkrec-ecapa-voxceleb", savedir="pretrained_models/spkrec-ecapa-voxceleb")
score, prediction = verification.verify_files("tests/samples/ASR/spk1_snt1.wav", "tests/samples/ASR/spk2_snt1.wav") # Different Speakers
score, prediction = verification.verify_files("tests/samples/ASR/spk1_snt1.wav", "tests/samples/ASR/spk1_snt2.wav") # Same Speaker

Tool | What it does
from_hparams | 按名称加载模型，savedir 指定它的保存位置
encode_batch | 把加载好的录音变成说话人嵌入
verify_files | 比较两个音频文件，返回一个分数和一个预测
classify_file | 在需要时把音频转换成预期的格式

如果你使用 encode_batch 或 classify_batch，请确保你的音频张量已经是预期的采样率。

示例：你把两个不同人的录音交给 verify_files。它返回一个分数和预测值 0。如果是同一个人的两段录音，预测值是 1。

新手与专家：可以把它看成一个声音比较器。你给它两段录音，它告诉你两段里说话的是不是同一个人。第一次可以用两段你有权使用的短录音运行验证代码。

这个系统是 ECAPA-TDNN 模型，由卷积块和残差块组合而成。注意力统计池化生成嵌入，训练使用 Additive Margin Softmax Loss，验证时取两个嵌入之间的余弦距离。模型卡报告在清洗后的 Voxceleb1 测试集上等错误率为 0.80%。

加载一段 16kHz 单声道的录音
卷积块和残差块处理它
注意力池化生成说话人嵌入
用余弦距离比较两个嵌入
返回分数和 0 或 1 的预测

注意事项：其他人发布了它的 6 个量化版本和 16 个微调版本。模型卡还说明了如何用 SpeechBrain 的配方从头训练这个模型。

• Accuracy: 在清洗后的 Voxceleb1 测试集上，等错误率为 0.80%
• Audio format: 用 16kHz 单声道的录音训练
• Limits: SpeechBrain 团队不保证它在其他数据集上的表现
• License: Apache 2.0
• Cost to run: 未提到费用
• Data it reaches: 你传入的音频文件，以及按名称从 Hugging Face 加载的模型文件
• Not for: 指望它在其他数据集上的准确率，因为那里没有任何保证

Hugging Face 上的数据（2026年11月13日）

• 框架：speechbrain
• 最近 30 天下载：1,912,322
• 点赞：370
• 许可证：apache-2.0
• 语言：en
• Quantized versions: 6
• Fine-tunes: 16
• 标签：speechbrain, embeddings, speaker, verification, identification, pytorch, ecapa, tdnn

链接

• 模型：https://huggingface.co/speechbrain/spkrec-ecapa-voxceleb
• 文件：https://huggingface.co/speechbrain/spkrec-ecapa-voxceleb/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download speechbrain/spkrec-ecapa-voxceleb

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。