Mindket
入门免费

AI 语音与音乐:语音合成、声音克隆与歌曲

黑色横幅,标题是“AI 语音与音乐”,下面是“语音合成、声音克隆、歌曲与配音”。

这门免费课程教你用 AI 音频做四件事:把文字变成自然的语音,在对方同意的前提下克隆声音,用风格描述和歌词做一首歌,把视频配成另一种语言。内容依据各家厂商自己的指南和各个项目的模型卡,每一课都写明许可和规则,最后有一组测验。

学完你能做到

  • 用 OpenAI 的语音接口或开源模型把文字变成语音,并控制它的语气、语速和读音。
  • 用一段描述或一段征得同意的录音做出合成声音,并了解随之而来的规则。
  • 在 ACE-Step 里用风格描述和带标签的歌词做一首歌,重绘不理想的一段,并读懂模型的许可。
  • 把一段短视频转写、翻译、说出来,做成配音,并检查每一步容易出的错。
全部课程

适合谁

适合想用 AI 做语音、声音、歌曲或配音视频的新手。不需要音频方面的经验。有些步骤要在终端里运行命令,开源模型还需要带显卡的电脑,课程会在要紧的地方写明。

课程内容

  1. 1AI 文字转语音:怎样做出听起来自然的声音用 OpenAI 的语音接口或本机运行的 Kokoro,把文字变成语音,并用文字指令控制语气、语速、口音和读音。7 分钟
  2. 2AI 声音克隆:原理、同意的含义,以及该用哪些模型了解 AI 声音克隆的原理:用文字描述一个声音,用 OpenAI 或开源模型从一段录音克隆声音,以及同意、许可和水印各有什么要求。8 分钟
  3. 3AI 怎样做歌曲:描述风格、写歌词,并了解规则了解怎样做一首 AI 歌曲:写风格描述和带标签的歌词,修改已生成的曲子,按许可对比开源模型,并读懂 Suno 和 Udio 的时间线。7 分钟
  4. 4怎样用 AI 给视频配音:转写、翻译、配音并对上口型了解怎样用 AI 给视频配音:转写语音、翻译文字、用另一种语言说出来、对上口型,并检查每一步容易出的错。8 分钟

常见问题

这门 AI 语音与音乐课免费吗?

免费。每一课都可以免费阅读。课程里提到的托管工具有各自的套餐,课程会让你去看每个工具自己的页面,了解它允许什么。

学这门课需要会写代码吗?

不需要,不过有些步骤要在终端里运行命令,每一课都会给出这些命令。ACE-Step 和 Kokoro 这样的开源模型,要通过 Python 工具安装。

我能用 AI 克隆任何人的声音吗?

不能。对录音声音,OpenAI 要求声音的主人提供同意录音,它对描述声音的规则只允许成年人的声音。它的指南还要求你告诉听众这段语音是 AI 生成的。第二课讲了这些规则。

用 AI 做的歌能卖吗?

这取决于工具的许可。ACE-Step 1.5 的权重是 MIT 许可,MusicGen 的权重是非商业许可,YuE2 则按你是谁来分条款。第三课对比了它们,并列出 Suno 和 Udio 的诉讼与协议。

学完这门课,接下来学什么?

下一门是 Vibe coding 入门,也就是向 AI 工具描述一个应用,再检查它交回来的东西。它会在 Lovable 里做一个小型网页应用。

分享这门课

给第一首歌挑个工具

知道了步骤之后,把托管的音乐工具按套餐逐个对比,看看发布一首曲子之前,每个工具要你先做什么。

对比音乐生成器

全部课程 · 全部文章