MuLaCover

MuLaCover

根据参考曲目、歌词和风格提示词，或根据旋律与和弦 MIDI，生成翻唱歌曲和音乐混音，输出 WAV 文件。适合在 CUDA 机器上做非商业音乐项目。

由 HeartMuLa 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：MuLaCover 是一个可控的翻唱和混音模型。它根据你提供的歌词和结构化的文字风格提示词，改造一段参考音乐。它也可以根据旋律和和弦 MIDI 来生成。

模型约有 44 亿个参数。流水线把结果写成 WAV 文件。它的权重是公开的，不需要申请访问。

适合谁：适合想试试 AI 翻唱生成、并且能在 GPU 上配置多个检查点的音乐人、爱好者和音频开发者。不允许商业使用。

Industry | Who uses it | How they use it | Example
音乐 | 业余音乐人 | 用新的曲风或情绪重做一首歌 | 把参考曲目做成乡村风格的版本
音频研究 | 研究人员 | 研究可控的音乐生成 | 对比不同风格提示词的输出
软件 | 音频开发者 | 开发非商业的音乐工具 | 把歌词和参考曲目变成翻唱的原型
教育 | 学生 | 探索歌词和风格如何控制生成的曲目 | 改一个情绪字段，再听结果

如果你需要把音乐用于商业用途，可以跳过它，因为权重及其生成的内容只限非商业使用。

用在哪里：

• 带 CUDA GPU 的机器上的 Python，就像模型卡里的示例那样。
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件。
• MuLaCover 代码仓库，里面有完整的安装和生成步骤。

Use case | Who | What they get back
翻唱生成 | 音乐人 | 用你的歌词改造参考曲目后得到的 WAV 文件
风格混音 | 制作人 | 由主题、曲风、乐器和情绪塑造的混音
MIDI 生成 | 作曲者 | 根据旋律和和弦 MIDI 生成的音乐

如何设置：你需要 Python、mulacover 包和几个检查点。

• 带 Hugging Face 工具的 Python
• CUDA GPU，因为示例在 cuda:0 上运行
• mulacover 包，按代码仓库的说明安装
• 放在同级文件夹里的 HeartCodec 和 Qwen3-Embedding-0.6B 检查点
• 如果要用参考音频做条件，还需要 YourMT3 和 ChordNet 检查点

1. 下载 MuLaCover 权重。
2. 在它旁边下载 HeartCodec 和 Qwen3-Embedding-0.6B。
3. 为参考音频加上 YourMT3 和 ChordNet 检查点。
4. 安装 mulacover 包，并按生成指南操作。

hf download HeartMuLa/MuLaCover --local-dir ./ckpt/MuLaCover

如何使用：歌词要带段落标记，并保留换行。风格写成一行 UTF-8 文本，用命名字段表示。

[Verse]
One lyric line
Another lyric line

[Chorus]
One chorus line

topic:[Longing]; genre:[country]; instrument:[Strings,acoustic guitar]; mood:[hopeful]

然后在代码仓库根目录运行流水线，./ckpt 里放着所有检查点文件夹。

import torch
from mulacover import MuLaCoverGenPipeline

torch.manual_seed(42)
pipe = MuLaCoverGenPipeline.from_pretrained(
    "./ckpt",
    device=torch.device("cuda:0"),
    dtype={
        "mulacover": torch.bfloat16,
        "codec": torch.float32,
        "qwen": torch.float32,
        "transcriptor": torch.float32,
    },
    lazy_load=True,
)
pipe(
    {
        "ref_audio": "/path/to/reference.mp3",
        "lyrics": "assets/lyrics.txt",
        "tags": "assets/tags.txt",
    },
    save_path="cover.wav",
)

Tool | What it does
MuLaCoverGenPipeline | 加载模型和辅助检查点并生成音频
ref_audio | 指向要改造的参考曲目
lyrics and tags | 指向你的歌词文件和风格行
save_path | 指定结果写入的 WAV 文件名

示例：拿一首 MP3 参考曲目，在歌词文件里写一段主歌和一段副歌，再把风格设成带原声吉他的充满希望的乡村情绪。运行流水线。它会写出 cover.wav，也就是带着你歌词的参考曲目改造版。

新手与专家：如果你刚接触，可以把它想成一个工具，用你描述的风格，把你的歌词唱在现有歌曲的骨架上。先下载权重并读生成指南，因为需要先备好几个检查点。

对专家来说，它不是 Transformers 内置的类，所以要用包的 API。流水线可以为每个组件单独设置 dtype，主模型用 bfloat16，编解码器、Qwen 嵌入器和转录器用 float32。它可以延迟加载组件来节省内存。

准备带段落标记的歌词
写一行风格提示词
提供一首参考曲目
流水线用检查点生成
保存一个 WAV 文件

注意事项：下面几点说明了限制和成本。

• Rights: 你使用的歌词、参考音频、表演和声音，必须有相应的权利。不要用它欺骗性地冒充他人，或侵犯版权、隐私或肖像权。
• License: CC BY-NC 4.0，另有附加条款。权重及其输出的商业使用需要 MuLa Labs 的书面授权。
• Cost to run: 没有提到 API 密钥或付费服务。需要 CUDA GPU。
• Data it reaches: 它读取你的参考音频和歌词，还需要下载好几个检查点。
• Not for: 没有书面许可的商业使用，或欺骗性冒充。

Hugging Face 上的数据（2026年11月13日）

• 任务：audio to audio
• 框架：mulacover
• 参数量：4.4B
• Weights: about 8.7 GB in BF16; about 2.2 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：678
• 点赞：49
• 许可证：cc-by-nc-4.0
• 标签：mulacover, safetensors, music, audio, cover, cover-song-generation, music-remix, remix-generation, text-to-music, symbolic-music, audio-to-audio

链接

• 模型：https://huggingface.co/HeartMuLa/MuLaCover
• 文件：https://huggingface.co/HeartMuLa/MuLaCover/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download HeartMuLa/MuLaCover

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。