CLAP2-L

CLAP2-L

LAION 的 340M 参数音频文本模型，把声音和英文文本放进同一个嵌入空间，用于零样本音频分类、音频文本检索和通用音频嵌入。

由 laion 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：CLAP2-L 是 LAION 的五个 CLAP2 模型中最大的一个，这些模型学习把音频片段和英文文本对应起来。它把音频编码器和文本编码器配成一对，两者把输出放进同一个向量空间。文件提供 OpenCLIP 和 Transformers 两种格式。

你可以用它免训练地对声音分类，用文本搜索音频，或者为通用音频工作获取嵌入。音频一侧接受任意长度的片段，不需要裁剪或补齐到固定大小。

适合谁：适合做音频工作的开发者和研究者，比如声音搜索、打标签和相似度，并且想用开放模型而不是托管服务。

Industry | Who uses it | How they use it | Example
媒体 | 档案团队 | 用文本搜索声音库 | 找出描述为掌声的片段
软件 | 应用开发者 | 无需标注数据就给音频打标签或分类 | 给上传的音效打标签
研究 | 音频研究者 | 把嵌入当作特征 | 对野外录音聚类
音乐和游戏 | 声音设计师 | 按描述检索声音 | 在素材库里找关门声

如果你需要语音转写或音频生成，可以跳过它，因为这个模型只做声音和文本的匹配。

用在哪里：它在 Python 里通过 OpenCLIP 运行，模型卡说也提供 Transformers 格式。

• 装有 open_clip_torch 和 soundfile 的 Python
• Windows、macOS 和 Linux
• 处理音频文件的笔记本和后端

Use case | Who | What they get back
零样本分类 | 开发者 | 你提供的每个文本描述对应的概率
音频文本检索 | 搜索团队 | 按文本查询排序的片段
音频嵌入 | 研究者 | 每个片段一个向量，供下游使用

如何设置：你需要 Python 和 open_clip_torch 包，还要 soundfile 来读取音频。第一次调用会从 Hugging Face hub 下载模型。

• 带 pip 的 Python
• open_clip_torch 4.2.1 或更新版本
• 用来读取 wav 文件的 soundfile
• F32 权重约需 1.4 GB 磁盘空间

1. 安装 Python。
2. 用下面的命令安装这些包。
3. 在你自己的 wav 文件上运行快速入门脚本。

pip install "open_clip_torch>=4.2.1" soundfile

pip install -U huggingface_hub
hf download laion/clap2-large-audioxl-s1B

如何使用：从 hub 加载模型和分词器，预处理一个片段，再和几条文本提示词比较。脚本会为每条提示词打印一个概率。

import torch, open_clip
from open_clip.audio.io import load_audio

hub = "hf-hub:laion/clap2-large-audioxl-s1B"
model, preprocess = open_clip.create_model_from_pretrained(hub)
tokenizer = open_clip.get_tokenizer(hub)

audio = preprocess()(load_audio("dog.wav"))  # any sample rate and channel count
texts = ["A dog barks.", "A door slams shut.", "People are applauding."]
with torch.no_grad():
    logits, _ = model.get_logits({k: v[None] for k, v in audio.items()}, tokenizer(texts))
print({t: round(p, 3) for t, p in zip(texts, logits.softmax(-1)[0].tolist())})

要一次编码多个片段，先把它们补齐到最长的片段。掩码会防止补齐部分改变嵌入。

from torch.nn.utils.rnn import pad_sequence
items = [preprocess()(load_audio(f)) for f in ["dog.wav", "rain.wav"]]
batch = {k: pad_sequence([x[k] for x in items], batch_first=True) for k in items[0]}
with torch.no_grad():
    audio_embeds = model.encode_audio(batch, normalize=True)

Tool | What it does
create_model_from_pretrained | 从 hub 加载模型及其预处理
get_logits | 把音频与你的文本提示词打分
encode_audio | 返回每个片段的嵌入
encode_text | 返回每条提示词的嵌入

示例：你提供一段狗的录音和三条提示词：狗在叫、门被摔上、人们在鼓掌。模型卡显示，对于一段狗叫的片段，第一条提示词几乎得到全部概率。

新手与专家：如果你是新手，先用快速入门脚本和一个短的 wav 文件。把提示词写成完整的句子，比如大提琴演奏缓慢的旋律，而不是单个标签。

如果你熟悉这个领域：音频编码器是输入对数梅尔块的 NaFlex 风格视觉 transformer，每秒声音产生 50 个词元。输入会被平均成单声道并重采样到 32 kHz。做零样本时，对每个类别的多条提示词嵌入取平均。

加载任意长度的音频
重采样为 32 kHz 单声道
对数梅尔块进入音频塔
文本经过文本塔
在共享空间里比较嵌入

注意事项：模型卡列出了五种尺寸，训练的样本数相同。图表显示每个尺寸的 MAEB-30 得分，越高越好。

Title: 各尺寸模型的 MAEB-30 得分，百分比
L，本模型: 53.6 百分比
M: 52.3 百分比
S: 51.8 百分比
XS: 49.1 百分比
XXS: 46.2 百分比

• License: Apache 2.0
• Cost to run: 未提及费用
• Data it reaches: 你加载的音频文件，以及你下载的模型文件
• Not for: 非英语的文本提示词，因为文本一侧处理英语

Hugging Face 上的数据（2026年11月13日）

• 任务：feature extraction
• 框架：open_clip
• 参数量：340M
• Weights: about 1.4 GB in F32; about 170 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：396
• 点赞：6
• 许可证：apache-2.0
• 语言：en
• Quantized versions: 1
• 标签：open_clip, safetensors, clap2, audio, clap, contrastive, audio-text-retrieval, zero-shot-audio-classification, feature-extraction

链接

• 模型：https://huggingface.co/laion/clap2-large-audioxl-s1B
• 文件：https://huggingface.co/laion/clap2-large-audioxl-s1B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download laion/clap2-large-audioxl-s1B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。