Nemotron 3 Diarization

Nemotron 3 Diarization

找出录音里谁在什么时候说话，最多支持八位说话人，可流式或离线运行，还能为转写文本加上说话人标签。适合处理会议、通话和媒体音频的人。

由 nvidia 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Nemotron 3 Diarization 是 NVIDIA 的开放权重模型，为音频中的说话人打标签，回答谁在什么时候说话。它最多处理八位说话人，可以用于实时流，也可以用于已完成的录音。一个检查点两种情况都能用，输入缓冲可以短到 80 ms，也可以长到 30.4 s。

适合谁：它适合处理多人音频、想要说话人标签而不用自己搭流程的开发者和团队。

行业 | 谁在用 | 怎么用 | 例子
会议和通话 | 分析团队 | 按说话人切分录音 | 看看通话中每一段是哪位在说
转写 | 语音应用开发者 | 给转写文本加说话人标签 | 生成每个词都带说话人标签的转写
媒体 | 编辑和制作人 | 在访谈和讨论中标出说话人的轮次 | 找到每位嘉宾发言的位置
语音研究 | 研究者 | 研究延迟可配置的流式说话人分离 | 在同一段音频上测试不同的缓冲大小

如果你的音频同时有超过八位说话人，或者你只需要转写，可以跳过它。

用在哪里：

• NeMo-Speech.cpp，一个用于本地的轻量原生 C++ 运行时
• Python 里的 NVIDIA NeMo Speech，用于推理、训练和微调
• 一个把它与流式转写搭配的 Hugging Face Spaces 演示
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用例 | 谁用 | 得到什么
对录音做说话人分离 | 开发者 | 显示谁在什么时候说话的说话人片段
带说话人标签的转写 | 应用开发者 | 加到转写文本里的词级说话人标签
实时说话人分离 | 产品团队 | 来自音频流的低延迟说话人标签

如何设置：你要在 C++ 运行时和 Python 工具包之间选一个。Python 路线要求 Python 版本不低于 3.12，另需 Cython 和新版 PyTorch。

• NeMo 路线需要 Python 3.12 或更高版本
• Cython、PyTorch、libsndfile 和 ffmpeg
• 或者按自己的指南安装的 NeMo-Speech.cpp 运行时
• 如果在 Python 里直接从 Hub 加载模型，需要一个 Hugging Face 令牌

1. 选一个运行时，NeMo-Speech.cpp 或 NeMo Python 工具包。
2. Python 路线用下面的命令安装系统包和工具包。
3. 下载模型，或让脚本从 Hub 加载。

apt-get update && apt-get install -y libsndfile1 ffmpeg
uv pip install Cython packaging
uv pip install 'nemo-toolkit[asr]'

pip install -U huggingface_hub
hf download nvidia/Nemotron-3-Diarization

如何使用：用 NeMo-Speech.cpp 时，你对一个 WAV 文件运行命令。第二条命令还会要求带说话人标签并输出 JSON 的转写。

nemo-speech diarize meeting.wav

nemo-speech transcribe meeting.wav --diarize --json

在 Python 里，模型卡的快速上手会加载模型、设置流式分块参数、对一个 WAV 文件做说话人分离并打印每个片段。

from nemo.collections.asr.models import SortformerEncLabelModel
diar_model = SortformerEncLabelModel.from_pretrained("nvidia/Nemotron-3-Diarization")
diar_model.eval()

diar_model.sortformer_modules.chunk_len = 340
diar_model.sortformer_modules.chunk_right_context = 40
diar_model.sortformer_modules.fifo_len = 40
diar_model.sortformer_modules.spkcache_update_period = 300
diar_model._check_streaming_parameters()

predicted_segments = diar_model.diarize(audio=["/path/to/your/audio.wav"], batch_size=1)

for segment in predicted_segments[0]:
    print(segment)

工具 | 作用
nemo-speech diarize | 标出 WAV 文件里谁在什么时候说话
nemo-speech transcribe --diarize --json | 转写音频并带上说话人标签，输出 JSON 形式
SortformerEncLabelModel | 在 NeMo Python 工具包中加载模型
diarize | 为一组音频文件返回说话人片段

示例：你对 meeting.wav 运行 nemo-speech diarize。工具会打印说话人片段，显示录音里每一段是哪位说话人在说。

新手与专家：如果你刚接触这类模型，说话人分离就是按说话人给录音打标签，比如说话人 1 和说话人 2。第一次可以对一个短的 WAV 文件运行那条 diarize 命令。

对熟悉这个领域的人来说，模型沿用 Sortformer，通过按到达顺序排列输出来解决说话人排列问题。流式时它用按到达顺序的说话人缓存和一个 FIFO 队列。分块推理时音频长度没有上限。

音频以流或文件形式进入
模型分块读取
说话人缓存让身份随时间保持稳定
你得到说话人片段，最多八位说话人

注意事项：最低输入缓冲延迟是 80 ms，不过模型卡把 0.32 s 列为最低推荐设置。输出帧分辨率可以按 10 ms 的倍数设置。

• License: openmdw-1.1，模型卡允许商业和非商业两种用途
• Cost to run: 未提及
• Data it reaches: 你传入的音频文件或音频流，以及下载的模型文件
• Not for: 超过八位说话人的录音

Hugging Face 上的数据（2026年11月13日）

• 任务：voice activity detection
• 框架：nemo
• 参数量：99.2M
• Weights: about 397 MB in F32; about 50 MB at 4-bit (estimate)
• Formats: Safetensors, GGUF
• 最近 30 天下载：204,726
• 点赞：836
• 许可证：openmdw-1.1
• Quantized versions: 39
• Fine-tunes: 16
• 标签：nemo, safetensors, gguf, nemotron3_diarization, audio-frame-classification, speaker-diarization, streaming-sortformer, speaker-tagging, transformers, voice-activity-detection

链接

• 模型：https://huggingface.co/nvidia/Nemotron-3-Diarization
• 文件：https://huggingface.co/nvidia/Nemotron-3-Diarization/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download nvidia/Nemotron-3-Diarization

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。