SheetSage2

SheetSage2

把音乐录音转成可编辑的乐谱，包含旋律、和弦、节拍、调性和结构，输出 ABC 和 MIDI 文件以及带时间的标注。这是基于 MERT-v2-FullSong 的 57.2M 模型。许可证为非商业。

由 m-a-p 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：SheetSage2 把一首歌的录音转成乐谱（lead sheet）和带时间的音乐标注。对一首完整的歌，它会算出旋律、和弦、节拍、调性和结构。输出可以当作 ABC 或 MIDI 来编辑。还可以渲染钢琴预览。模型也会给出嵌入和 token 预测，其他软件可以拿去用。它有 57.2M 参数，建立在 MERT-v2-FullSong 之上，适配器在加载时合并。

适合谁：它适合音乐人、老师、编曲者和音乐软件开发者，他们想把一段录音变成可以编辑的东西。

行业 | 谁在用 | 怎么用 | 例子
音乐教育 | 老师和学生 | 从录音得到一份乐谱来学习 | 转录一首歌，在 score.abc 里阅读它的和弦和旋律
音乐制作 | 编曲者和制作人 | 把转录结果当作 MIDI 来编辑 | 在音乐编辑器里打开旋律和和弦的 MIDI 文件
音乐软件 | 开发者 | 在自己的工具里使用嵌入和 token 预测 | 从一首曲子里提取嵌入，用于分析功能

如果你打算商用，可以略过它，因为它的许可证是非商业的。

用在哪里：

• 装有 transformers 和 PyTorch 的 Python 项目，还要安装 FFmpeg
• 有 GPU 的话用 GPU 机器，因为示例在 CUDA 可用时会把模型放上去，否则在 CPU 上运行
• 能打开 ABC 或 MIDI 文件的音乐编辑器
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用途 | 谁用 | 能得到什么
乐谱 | 音乐人 | 一首歌的可编辑 ABC 乐谱
MIDI 声部 | 编曲者 | 一个合并的 MIDI 文件，以及分开的旋律和和弦文件
带时间的音符 | 开发者 | JSON 文件里的时间数据，以及 lab 文件

如何设置：
你需要先准备：

• 3.10 或 3.11 版本的 Python，加上 FFmpeg 6.1 及其配套的共享库
• 一个已登录的 Hugging Face 账号，并且有权访问这个仓库和它的 MERT-v2 上游模型
• PyTorch 和 torchaudio 2.8.0，模型卡指定了这个版本
• 约 229 MB 的 F32 权重空间，或 4 位下约 29 MB，这只是估算值

1. 用有访问权限的账号登录 Hugging Face。
2. 把仓库下载到一个名为 SheetSage2 的文件夹。
3. 安装 PyTorch 和 torchaudio 2.8.0，然后安装依赖文件。

python -m pip install huggingface-hub==0.36.0
huggingface-cli download m-a-p/SheetSage2 --local-dir SheetSage2
cd SheetSage2
python -m pip install -r requirements.txt

如何使用：
用 AutoModel 和 trust_remote_code 加载模型，然后用一个音频文件和一个输出文件夹调用 transcribe。音频会自动解码、混成单声道并重采样，长歌曲使用重叠窗口。省略 output_dir 就把结果保留在内存里。

import torch
from transformers import AutoModel

model = AutoModel.from_pretrained(
    "m-a-p/SheetSage2", trust_remote_code=True,
).eval().to("cuda" if torch.cuda.is_available() else "cpu")

result = model.transcribe("song.mp3", output_dir="output")

输出 | 文件
可编辑乐谱 | score.abc
合并的 MIDI | transcription.mid
分开的声部 | 人声旋律、乐器旋律和和弦各一个文件
带时间的标注 | events.json, *.lab

工具 | 作用
transcribe | 把音频文件或波形转成乐谱和带时间的标注
output_dir | 设置写入文件的文件夹
FFmpeg | 按模型卡的要求，需要装在你的机器上

示例：你传入 song.mp3 和一个输出文件夹。你会得到可编辑的 score.abc、旋律和和弦的 MIDI 文件，以及 events.json 里带时间的标注。

新手与专家：第一次尝试可以用一首你很熟悉的歌。打开 score.abc，把它的和弦和你听到的对照一下。

对懂行的人来说，这个模型建立在 MERT-v2-FullSong 之上，它的适配器在加载时合并。技术报告描述了由 MIDI 派生的合成监督、结构化解码器、自回归蒸馏和评估协议。后来的一次修复让和弦拼写跟随局部调性，所以调性需要时会出现 Bb，而不是 A#。只有标签变了，音高、时间和权重都没变。如果你在这次修复之前获取过代码，请刷新它。

音频被解码、混成单声道并重采样
长歌曲被切成重叠的窗口
它预测旋律、和弦、节拍、调性和结构
你得到 ABC、MIDI 和带时间的标注文件

注意事项：

Title: 模型信息
项目 | 数值
参数量 | 57.2M
F32 权重 | 约 229 MB
4 位权重 | 约 29 MB，估算值
格式 | Safetensors
基于 | MERT-v2-FullSong

• 质量：模型页面有一个基准测试部分，在把输出用于严肃工作之前请先查看。
• 访问：你需要有权访问这个仓库和它的上游模型。
• License: cc-by-nc-4.0，不允许商业使用。
• Cost to run: 没有提到 API 密钥或付费服务。
• Data it reaches: 它从 Hugging Face 下载文件，模型卡展示的转录是在你自己的机器上运行的。
• Not for: 商业使用，因为许可证不允许。

Hugging Face 上的数据（2026年11月13日）

• 任务：feature extraction
• 框架：transformers
• 参数量：57.2M
• Weights: about 229 MB in F32; about 29 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：16,575
• 点赞：185
• 许可证：cc-by-nc-4.0
• 基于：m-a-p/MERT-v2-FullSong
• Quantized versions: 3
• Fine-tunes: 4
• 标签：transformers, safetensors, sheetsage2, feature-extraction, audio, music, music-transcription, midi, abc-notation

链接

• 模型：https://huggingface.co/m-a-p/SheetSage2
• 文件：https://huggingface.co/m-a-p/SheetSage2/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download m-a-p/SheetSage2

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。