SPEAR XLarge v2

SPEAR XLarge v2

把 16 kHz 的语音和通用音频转成每帧 1280 个数字的特征，是约 6 亿参数的预训练 Zipformer 编码器。适合为语音识别或音频标注做微调的研究者。

由 marcoyang 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：SPEAR XLarge v2 是一个预训练音频编码器，在同一个模型里学习语音和通用声音。它把 16 kHz 的波形转成每秒约 50 帧、每帧 1280 个数字的特征。它使用有 13 个 stack 的 Zipformer 主干，第二版加入了 token 混合，用于重叠语音、噪声和混合声音场景。

适合谁：需要语音识别、音频标注或其他音频任务起点，并且能用标注数据做微调的研究者和工程师。

Industry | Who uses it | How they use it | Example
语音技术 | ASR 工程师 | 微调编码器用于语音识别 | 在 LibriSpeech 上微调的编码器
音频分析 | 声音研究者 | 微调它来给音频事件打标签 | 在 AudioSet 上微调的标注器
学术 | 学生 | 提取特征做语音和音频的实验 | 每一层的隐藏状态用于探针实验
媒体 | 音频工程师 | 研究包含语音、噪声和音乐的混合场景 | 来自嘈杂录音的特征

如果你需要现成的转写工具，可以跳过它，因为它只用无标注音频做了预训练，有监督任务需要微调。

用在哪里：

• 带 PyTorch 和 transformers 库的 Python
• CPU 或 CUDA GPU，示例会自动选择
• Windows、macOS 或 Linux 上的研究流程

Use case | Who | What they get back
特征提取 | 研究者 | 形状为 batch、frames、1280 的帧级特征
中间层 | 探针研究 | 一份隐藏状态列表，一共 13 层
微调基础 | ASR 和标注团队 | 可以用标注数据训练的预训练编码器

如何设置：你需要装有 pip 的 Python、PyTorch、transformers 库，以及约 2.4 GB 的磁盘空间来存放 F32 权重。你的音频必须先重采样到 16 kHz 再送入。

• Python 和 pip
• PyTorch 和 transformers
• 约 2.4 GB 的空闲磁盘空间

1. 安装 Hugging Face hub 工具。
2. 下载仓库的文件，或者让 transformers 在第一次加载时获取。
3. 把任何音频重采样到 16 kHz。

pip install -U huggingface_hub
hf download marcoyang/spear-xlarge-speech-audio-v2

如何使用：用 transformers 加载模型，并传入允许运行仓库自带代码的选项。然后给它一段单声道或批量的 16 kHz 波形和它的长度。结果包含顶层特征、它们的长度和所有隐藏状态。

from transformers import AutoModel
import torch

model = AutoModel.from_pretrained(
    "marcoyang/spear-xlarge-speech-audio-v2",
    trust_remote_code=True,
)

device = "cuda" if torch.cuda.is_available() else "cpu"
model = model.to(device).eval()

# Dummy 10-second waveform at 16 kHz.
audio = torch.randn(1, 160000, device=device)
audio_len = torch.tensor([audio.shape[1]], device=device)

with torch.no_grad():
    outputs = model(audio, audio_len)

encoder_out = outputs["encoder_out"]       # (batch, frames, 1280)
encoder_out_lens = outputs["encoder_out_lens"]
hidden_states = outputs["hidden_states"]   # list of intermediate states

print(encoder_out.shape)
print(encoder_out_lens)
print(len(hidden_states))                  # 13 layers
print(hidden_states[-1].shape)

Tool | What it does
AutoModel.from_pretrained | 从仓库加载编码器
encoder_out | 每一帧的顶层特征
hidden_states | 各中间层输出的列表

示例：你把一段十秒、16 kHz 的音频和它的长度传给模型。它返回每帧 1280 个数字的特征、它们的长度，以及一份你可以查看的 13 个隐藏状态的列表。

新手与专家：如果你是新手，先用虚拟波形运行示例并打印形状。然后再试一段你已重采样到 16 kHz 的真实录音。

如果你熟悉这个领域，这是一个自监督编码器，用 19.7 万小时的英文语音和通用音频预训练。它是语音识别和音频标注等任务的基础。微调后，模型卡报告 LibriSpeech test-clean 的错误率为 1.6，test-other 为 2.9。

16 kHz 波形输入
Zipformer 编码器处理
输出帧特征
微调用于 ASR 或标注

注意事项：模型卡里的结果是作者自己给出的。在 AudioSet 上微调后，它报告完整集的 mAP 为 50.0，平衡集为 39.4。

Title: 微调后的音频标注 mAP
AudioSet Balanced: 39.4
AudioSet Full: 50.0

• Remote code: 加载时会用到运行仓库自带代码的选项，所以请先阅读代码
• Pretraining data: 约 19.7 万小时无标注的英文语音和通用音频
• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 你在本地输入的音频，以及从 Hugging Face 下载的文件
• Not for: 开箱即用的转写或标注，因为需要用标注数据微调

Hugging Face 上的数据（2026年11月13日）

• 任务：feature extraction
• 框架：transformers
• 参数量：597M
• Weights: about 2.4 GB in F32; about 298 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,668
• 点赞：10
• 许可证：apache-2.0
• 标签：transformers, safetensors, spear, feature-extraction, huggingface, speech, audio, speech-representation-learning, audio-representation-learning, self-supervised-learning, automatic-speech-recognition, audio-tagging

链接

• 模型：https://huggingface.co/marcoyang/spear-xlarge-speech-audio-v2
• 文件：https://huggingface.co/marcoyang/spear-xlarge-speech-audio-v2/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download marcoyang/spear-xlarge-speech-audio-v2

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。