AI 声音克隆：原理、同意的含义，以及该用哪些模型

开始之前

声音克隆，是做出一个听起来像某个具体的人的合成声音。下面的开源模型示例里没有训练这一步：你给它一小段参考片段和新的文字，它就用这个声音把文字念出来。Chatterbox 的 README 把这叫作零样本（zero-shot）。文字转语音那一课讲怎样选内置音色，这一课从那里接着往下讲。

有两种东西都被叫作自定义声音。描述出来的声音由一段文字描述生成，没有谁被复制。克隆出来的声音由一个真人的录音生成，所以它就是那个人的声音肖像，这一课所有的规则都是从这一点来的。下面的步骤里，托管路线需要一个 OpenAI API 密钥，开源模型需要 Python。

不需要录音：用文字描述一个声音

OpenAI 的 prompt-to-voice 根据一段描述创建并保存一个声音，不需要参考录音，也不需要同意录音。它向所有 API 客户开放。保存下来的声音可以用在 GPT-Live 里，指南说它不支持文字转语音、Realtime 和 Chat Completions 这几个 API。创建一个不收费，在 GPT-Live 里使用它，按普通会话的费率计费。

你描述的是特质，不是某个人。指南列了九项，它们是写在提示词里的话，不是单独的 API 参数。指南还说，不要要求模仿某个具名的人、公众人物或虚构角色，也不允许儿童的声音。

curl --fail-with-body https://api.openai.com/v1/audio/voices \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "type": "prompt",
    "name": "Support assistant",
    "prompt": "A calm, reassuring adult voice for a customer support assistant. Speak with an American English accent, a mid-range pitch, a smooth, warm tone, and a steady, conversational pace.",
    "model": "auto"
  }' \
  -o voice.json

1. 照下面表格里的特质，用平常的话写一段描述。
2. 发送上面的请求。每个成功的请求都会保存一个新声音，并返回它的元数据，其中有一个像 voice_123 这样的 id，不带音频，也没有试听。
3. 保留这个 id 和原来的描述。指南说，想在另一次会话里用同一个声音，就复用保存下来的声音。
4. 在 GPT-Live 会话里试听，把 session.audio.output.voice.id 设成这个 id。为了让声音表现更好，指南说还要把这段描述放进 session.instructions。
5. 每次只改一项特质，用同一小段文字做对比。

用录音克隆声音：OpenAI 的同意流程

用录音生成声音，只向符合条件的客户开放。指南说要联系 OpenAI 的销售团队，组织开通之后，Audio 下面会出现 Voices 标签页。它需要同一个人的两段独立录音：一段是同意录音，说话人读一句固定的声明，另一段是样本录音，模型会尽力复制它。

指南列出了 16 种语言的声明，包括中文，并提醒，只要和台词有任何出入，上传就会失败。同一个说话人做不止一个声音时，同一份同意可以重复使用。英文声明是这样的：“I am the owner of this voice and I consent to OpenAI using this voice to create a synthetic voice model.”

curl https://api.openai.com/v1/audio/voice_consents \
  -X POST \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F "name=test_consent" \
  -F "language=en" \
  -F "recording=@$HOME/tmp/voice_consent/consent_recording.wav;type=audio/x-wav"

curl https://api.openai.com/v1/audio/voices \
  -X POST \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F "name=test_voice" \
  -F "audio_sample=@$HOME/tmp/voice_consent/audio_sample_recording.wav;type=audio/x-wav" \
  -F "consent=cons_123abc"

1. 先获得权限。没有权限，声音相关的接口会返回错误，比如 404。
2. 在安静的房间里，原样录下那句同意声明。
3. 带上名称和语言，把它上传到 /v1/audio/voice_consents。返回的内容里有一个同意 ID。
4. 录样本，不超过 60 秒，格式可以是 mpeg、wav、ogg、aac、flac、webm 或 mp4。
5. 用样本和同意 ID，在 /v1/audio/voices 创建声音。
6. 在 Realtime 会话里用 gpt-realtime-2.1-mini，或者在 GPT-Live 里，使用这个声音的 ID。要在开始时就选好，因为换一个声音需要开一个新会话。

样本该是什么样

指南说，质量取决于样本，并给出了录音建议：安静、回声小的空间，专业的 XLR 麦克风，离麦克风大约 7 到 8 英寸，中间加防喷罩，全程保持同样的距离。模型会原样复制它听到的东西，包括语气、节奏、精力、停顿和习惯，所以要录你希望克隆声音拥有的那种声音。样本里精力或口音忽高忽低，结果里也会忽高忽低。

开源模型给的建议少一些。Chatterbox 的 README 提醒，参考片段的语言和目标语言不同，会把口音带过去，并建议把 cfg_weight 设成 0 来减轻。XTTS-v2 的模型卡给出的片段长度是 6 秒。上面的建议出自 OpenAI 的指南，不过安静的房间和平稳的语气不花什么成本，录任何片段时都值得保留。

在自己的电脑上用开源模型克隆

开源模型不需要审批，也不会把东西发给哪家厂商，但同样没有同意这一步，所以责任在你身上。F5-TTS 有一个简单的命令行。它接受一段参考录音，如果有的话，再加上这段录音里说的话，然后用这个声音念新的文字。把参考文字留空，就由一个 ASR 模型来转写这段录音，代价是多占一些 GPU 内存。

Chatterbox 通过 Python 做同样的事：model.generate(text, audio_prompt_path="your_10s_ref_clip.wav")，README 示例里的文件名写着 10 秒，但 README 没有写明时长。它的 README 说，这个项目在 2026 年 8 月退役，不再维护，代码作为存档继续公开。权重的许可之间的差别，比命令之间的差别更大。

pip install f5-tts

# Leave --ref_text "" will have ASR model transcribe (extra GPU memory usage)
f5-tts_infer-cli --model F5TTS_v1_Base \
--ref_audio "provide_prompt_wav_path_here.wav" \
--ref_text "The content, subtitle or transcription of reference audio." \
--gen_text "Some text you want TTS model generate for you."

克隆任何声音之前要守的规则

关于一个人的声音，法律因国家和州而异，这一课不讲法律。发布或出售克隆出来的音频之前，请先问律师。厂商自己定的规则更容易读懂。OpenAI 的页面把其中三条反复讲，拿来当任何克隆的底线都合适：说话人同意，不冒充任何人，告诉听众。

OpenAI 在 prompt-to-voice 下面的“负责任使用”清单里说了这几条。负责任地使用声音，不要冒充他人，使用成年人的声音。告诉听众这段语音是 AI 生成的，同时保留任何溯源元数据或水印。它还说，声音不保证是独一无二的，因为别人可能生成相似的声音。指南把这份清单印在描述声音那一节下面。对录音声音，它要求同意录音，并指向 Text-to-Speech Supplemental Agreement 看更多条款，所以让录音声音也照着整份清单做，是这一课的建议，不是指南在那里印出的话。

检查一段音频，以及干净的结果意味着什么

OpenAI 的 Content Provenance API 会检查一个图片或音频文件里有没有它自己的溯源信号。把文件发给 POST /v1/content_provenance_checks，或者用 openai.com/verify 的网页工具。对音频来说，这个信号是 SynthID，一种嵌在音频本身里的水印，经过一些编辑后可能还在。C2PA Content Credentials 是图片上的签名元数据，编辑、转换或分享文件都可能把它去掉。

not_detected 的意思是工具没有找到支持的信号。如果元数据被去掉了、水印被削弱了、音频来自旧模型，或者早于这些信号出现，这段音频仍然可能出自 OpenAI。这个工具也检测不出其他公司的模型，页面还说它不是通用的 AI 检测器。Chatterbox 自己的水印有单独的检查办法：它的 README 给了一段短脚本，先用 perth.PerthImplicitWatermarker()，再调用 get_watermark，带水印的音频返回 1.0，没有则返回 0.0。

常见错误

• 因为工具没要求同意，就在没有说话人同意的情况下克隆声音。
• 凭记忆念同意声明。和台词有任何出入，OpenAI 都会拒绝。
• 在嘈杂或有回声的房间里录样本，或者用和想要的不一样的状态去录，因为模型两样都会复制。
• 把 F5-TTS 的 CC-BY-NC 权重用在收费的工作上。
• 参考片段用一种语言，目标文字用另一种，然后奇怪口音是怎么回事。
• 把 not_detected 当成这段音频是真人的证明。
• 以为描述出来的声音能在文字转语音 API 里用，而指南把它限定在 GPT-Live。

动手试试

• 给一个声音写一段描述，用九项特质里的三项，再改其中一项，看看哪里变了。
• 读一遍上面的 F5-TTS 命令和 Chatterbox 那一行，写下这两个权重里，哪一个可以用在收费项目里。
• 在安静的房间里录一小段你自己的声音，用开源模型克隆它，再把结果标注为合成的。
• 用 openai.com/verify 的网页工具检查一小段音频，记下 not_detected 的结果能说明什么、不能说明什么。

下一课：AI 音乐

声音念出来的是话。AI 音乐则把一种风格和几句歌词变成一整首歌，它也有自己的授权问题：模型、托管工具，以及你能发布什么。

常见问题

资料来源

1. OpenAI API docs: Custom voices (2026年11月6日 查阅)https://developers.openai.com/api/docs/guides/custom-voices
2. OpenAI API docs: Content provenance (2026年11月6日 查阅)https://developers.openai.com/api/docs/guides/content-provenance
3. Hugging Face: coqui/XTTS-v2 model card (2026年11月6日 查阅)https://huggingface.co/coqui/XTTS-v2
4. GitHub: resemble-ai/chatterbox README (2026年11月6日 查阅)https://github.com/resemble-ai/chatterbox
5. Hugging Face: ResembleAI/chatterbox model card (2026年11月6日 查阅)https://huggingface.co/ResembleAI/chatterbox
6. GitHub: SWivid/F5-TTS README (2026年11月6日 查阅)https://github.com/SWivid/F5-TTS
7. Hugging Face: SWivid/F5-TTS model card (2026年11月6日 查阅)https://huggingface.co/SWivid/F5-TTS
8. Hugging Face: hexgrad/Kokoro-82M model card (2026年11月6日 查阅)https://huggingface.co/hexgrad/Kokoro-82M