FireRedVAD

FireRedVAD

检测音频中的语音、歌声和音乐，提供流式和文件式语音活动检测以及音频事件检测。适合在转写前对音频做分段或清理的语音开发者。

由 FireRedTeam 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：FireRedVAD 能找出音频文件里哪些地方有人说话，也能标出歌声和音乐。它提供流式和非流式的语音活动检测，以及非流式的音频事件检测，模型卡说它覆盖 100 多种语言。它是作为 FireRedASR2S 的一部分推出的，也作为带权重和推理代码的独立项目发布。

适合谁：适合需要把录音切成语音片段、或区分语音与歌声和音乐的语音和音频开发者。

行业 | 谁在用 | 怎么用 | 例子
语音技术 | ASR 开发者 | 在转写前把音频切成语音片段 | 去掉一段通话录音里的静音
语音产品 | 产品团队 | 在音频流入时检测语音 | 只在有人说话时才开始听
媒体 | 音频剪辑师 | 在一首曲子里找出语音、歌声和音乐 | 标出歌声从哪里开始
研究 | 语音研究者 | 在多语言基准上比较检测器 | 对照 Silero-VAD 检查误报

如果你需要实时的音频事件检测，可以跳过它，因为这部分只处理完整文件。

用在哪里：它用 Python 从命令行运行，模型卡为每种模式提供了示例 shell 脚本。

• 装有 conda 和 Python 3.10 的命令行
• 装有 Python 的 Windows、macOS 或 Linux，用来下载模型文件
• ffmpeg，在需要时把音频转成 16 kHz 单声道

使用场景 | 谁用 | 得到什么
文件语音检测 | ASR 开发者 | 写入文本文件和片段文件夹的语音片段
流式检测 | 语音产品团队 | 音频到达时就能找到的语音片段
音频事件检测 | 媒体团队 | 语音、歌声和音乐的标签

如何设置：建一个干净的 Python 环境，取得代码项目，安装它的依赖，然后下载模型。音频应为 16 kHz、16 位、单声道 PCM。

• conda 和 Python 3.10
• GitHub 上的 FireRedVAD 代码项目
• ffmpeg，如果你的音频需要转换

1. 用 Python 3.10 创建一个干净的 conda 环境并激活它。
2. 从 GitHub 获取 FireRedVAD 代码并打开它的文件夹。
3. 安装依赖并设置 PATH 和 PYTHONPATH。
4. 从 ModelScope 或 Hugging Face 下载模型。
5. 如果需要，把你的音频转成 16 kHz 16 位单声道 PCM。

conda create --name fireredvad python=3.10
conda activate fireredvad

pip install -r requirements.txt
export PATH=$PWD/fireredvad/bin/:$PATH
export PYTHONPATH=$PWD/:$PYTHONPATH

pip install -U modelscope
modelscope download --model xukaituo/FireRedVAD --local_dir ./pretrained_models/FireRedVAD

pip install -U "huggingface_hub[cli]"
huggingface-cli download FireRedTeam/FireRedVAD --local-dir ./pretrained_models/FireRedVAD

ffmpeg -i <input_audio_path> -ar 16000 -ac 1 -acodec pcm_s16le -f wav <output_wav_path>

如何使用：从 examples 文件夹运行示例脚本，或者自己调用命令行工具。每个工具都有帮助选项，列出它的参数。

cd examples
bash inference_vad.sh
bash inference_stream_vad.sh
bash inference_aed.sh

vad.py --help
vad.py --use_gpu 0 --model_dir pretrained_models/FireRedVAD/VAD --smooth_window_size 5 --speech_threshold 0.4 \
    --min_speech_frame 20 --max_speech_frame 3000 --min_silence_frame 10 --merge_silence_frame 0 \
    --extend_speech_frame 0 --chunk_max_frame 30000 --write_textgrid 1 \
    --wav_path assets/hello_zh.wav --output out/vad.txt --save_segment_dir out/vad

工具 | 作用
vad.py | 对完整音频文件做语音活动检测
stream_vad.py | 流式语音活动检测
aed.py | 对语音、歌声和音乐做音频事件检测
speech_threshold | 决定一帧是否算作语音的阈值
write_textgrid | 设为 1 时把结果写成 TextGrid

示例：用模型卡的设置对示例文件 assets/hello_zh.wav 运行 vad.py。它把语音片段写进 out/vad.txt，并把每个片段保存成 out/vad 里的一个音频片段。

新手与专家：语音活动检测回答一个简单的问题：这段录音的哪些部分有人在说话。第一个小尝试是对示例音频运行文件检测的示例脚本，然后读输出文件。

对专家来说，这些模型基于 DFSMN，分为非流式 VAD、流式 VAD 和非流式 AED。模型卡在 FLEURS-VAD-102 上评估它们，这是它自己的基准，含 102 种语言的 9,443 个已标注文件。FireRedVAD 的取舍是漏检率略高于 TEN-VAD，换来比 FunASR-VAD 低得多的误报率。

把音频转成 16 kHz 单声道 PCM
选 VAD、流式 VAD 或 AED
带着阈值运行工具
读取片段或事件标签

注意事项：模型卡比较了非流式语音活动检测在 FLEURS-VAD-102 上的 F1 分数。

Title: FLEURS-VAD-102 上的 F1 分数
FireRedVAD: 97.57 %
Silero-VAD: 95.95 %
TEN-VAD: 95.19 %
FunASR-VAD: 90.91 %
WebRTC-VAD: 52.30 %

• Own benchmark: FLEURS-VAD-102 由模型卡的作者自己构建，所以在你的音频上结果可能不同。
• Miss rate: 3.62%，对比 TEN-VAD 的 2.95% 和 FunASR-VAD 的 0.42%。
• False alarms: 2.69%，对比 FunASR-VAD 的 44.03%。
• Audio format: 16 kHz、16 位、单声道 PCM。
• License: Apache-2.0。
• Cost to run: 未提及，没有 API 密钥、账号或付费服务。
• Data it reaches: 你指给它的音频文件，它把结果写到本地文件夹。
• Not for: 实时的音频事件检测，因为 AED 处理的是完整文件。

Hugging Face 上的数据（2026年11月13日）

• 任务：voice activity detection
• 最近 30 天下载：2,286
• 点赞：80
• 许可证：apache-2.0
• 语言：en, zh
• Quantized versions: 8
• Fine-tunes: 4
• 标签：voice-activity-detection, speech-activity-detection, audio-event-detection, streaming, non-streaming, audio, automatic-speech-recognition

链接

• 模型：https://huggingface.co/FireRedTeam/FireRedVAD
• 文件：https://huggingface.co/FireRedTeam/FireRedVAD/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download FireRedTeam/FireRedVAD

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。