怎样用 AI 给视频配音：转写、翻译、配音并对上口型

开始之前

配音就是把视频里的话换成另一种语言的话，可以拆成四件事。转写：把原来的语音变成文字。翻译：翻译这段文字。说出来：用一个声音把译文说出来。对齐：把新的音频对到视频上，画面里有人说话时，这包括口型同步。每一步的结果都交给下一步，所以转写里的一个错误，会变成声音里的一个错误。

前面两课讲了声音。文字转语音是你说出译文的办法，声音克隆是在对方同意的前提下保留原说话人声音的办法。请用你自己做的视频，或者你有权翻译的视频，并且先拿其中 30 秒来试。

第 1 步：转写语音

配音从文字开始。OpenAI 的文件转写指南说，转写原语言的录音，先用 gpt-transcribe。文件最大 25 MB，格式可以是 mp3、mp4、mpeg、mpga、m4a、wav 或 webm。视频更长的话，指南说要压缩音频，或者切成每块不超过 25 MB 的片段，而且不要切在一句话的中间。

有三个可选字段，帮助识别名字和术语。prompt 用平常的话给出背景，keywords 列出你预计会听到的确切词语，languages 写出说话用的语言。指南把关键词称作提示，不是必须出现的输出，所以要检查它们是有帮助，还是让没说过的词冒了出来。下面的请求是指南里的示例，换了文件名和示例词。

curl https://api.openai.com/v1/audio/transcriptions \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: multipart/form-data" \
  -F model="gpt-transcribe" \
  -F file="@/path/to/file/talk.mp3" \
  -F 'prompt=A product demo for a note-taking app called Notely.' \
  -F 'keywords[]=Notely' \
  -F 'languages[]=en'

• 返回的是 JSON，转写文字在 text 里，languages 列表装着检测到的语言代码。检测不可靠时，这个列表是空的。
• 想把音频留在自己的电脑上，就用 Whisper。它的代码和权重都是 MIT 许可，用 pip install -U openai-whisper 安装，需要装好 ffmpeg。whisper audio.mp3 --model turbo 就能转写，README 说默认设置转写英语效果很好。
• 指南里关于逐词时间戳和字幕格式的示例，用的都是已弃用的模型，这些模型会在 2027 年 2 月 26 日停用。需要带时间的文字，就用自己会对齐单词的工具，比如下面的 VideoLingo。
• 视频播放的同时把转写读一遍。这里的每个错误，都会被抄进译文和声音里。

第 2 步：翻译转写稿

拿到译文有三条路。Whisper 可以把语音直接翻译成英语：whisper japanese.wav --model medium --language Japanese --task translate。它的 README 警告说，即使设了 --task translate，turbo 模型仍然返回原语言，所以要用 medium 或 large。

OpenAI 较早的 /v1/audio/translations 接口，同样只把录音翻译成英语文字，指南把它列为已弃用，2027 年 2 月 26 日关停。对还在说着的话，指南指向 gpt-realtime-translate，它在说话人说话的同时，流式返回译文音频和转写文字。每种目标语言要开一个会话，所以英语译西班牙语、英语译法语要两个会话。

其他语言组合，以及已经录好的音频，就把转写稿交给聊天模型。这条提示词是本课自己写的，不是哪家厂商的。一次贴几行带编号的字幕。

把下面的字幕行从英语翻译成西班牙语。
保持编号和行数不变。
每一行的长度尽量接近原文，因为配音要在同样长的时间里说完。
这些词保留英文：Notely、workspace。
只返回带编号的行。

1. Welcome to Notely.
2. In this video, I will show you how to share a workspace.

• 保留编号，这样每一行译文都能对回它的时间戳。
• 给出一份名字和术语的词表，这些词保留英文。VideoLingo 用自定义加 AI 生成的术语，目的相同：让译文从头到尾连贯。
• 要求译文行的长度和原文差不多。README 说，配音的时间对不对，取决于译文、语音服务和语速。
• 配音之前，请懂这门语言的人读一遍。README 说，翻译质量取决于源音频、语言和所选的模型。

第 3 步：说出译文

这就是第一课的文字转语音，每一行跑一次。选一个现成的声音，或者按第二课讲的，在对方同意的前提下克隆说话人的声音。OpenAI 的指南说，它的声音针对英语优化，其他语言则遵循 Whisper 的语言清单。VideoLingo 说，它能配的语言取决于你选的语音方式，并列出 OpenAI、Fish Audio、SiliconFlow 的 Fish 和 CosyVoice2、GPT-SoVITS、Edge TTS 和 F5-TTS，另有一个自定义适配器。

它的 README 里有两条限制在这里要紧。调整语速不能保证说得自然，也不能保证完全同步。本课的建议由此而来：一句话太长、放不进它的时间段，就在译文里缩短，不要靠加快语速。另外，README 还说，配音流程不会自动给每个说话人分配不同的声音，所以两个人的访谈，要把每个人的台词分开配。

第 4 步：口型同步，只在画面里有人脸时才做

换了新的话，嘴形也该跟着变。口型同步模型会改动视频里的人脸，让它对上新的音频，Wav2Lip 的 README 说它适用于任何人、任何声音和任何语言。如果说话人不在画面里，或者视频放的是幻灯片或屏幕录像，这一步就跳过。

下面三个开源项目，最大的差别在许可。Wav2Lip 的命令展示了这件事的样子：输入一段视频、一个音频文件和一个检查点，结果落在 results/result_voice.mp4。它的 README 说，音频可以是 ffmpeg 能读的任何文件，包括视频。

python inference.py --checkpoint_path <ckpt> --face <video.mp4> --audio <an-audio-source>

一个工具做第 1 到 3 步：浏览器里的 VideoLingo

VideoLingo 是一个 Apache 2.0 许可的项目，在一个 Streamlit 界面里把语音识别、字幕翻译、分段和配音合在一起。它生成字幕文件，你要的话也能生成带字幕或配好音的视频。它支持的输入语言有英语、俄语、法语、德语、意大利语、西班牙语、日语和中文。在 Windows 上，README 给了一条一键的路。

git clone https://github.com/Huanshere/VideoLingo.git && cd VideoLingo
uv run start.py

• 上面两行是 README 给 macOS、Linux 和 Windows 从源码安装的办法。以后要启动，就在文件夹里再运行一次 uv run start.py。
• 语音识别默认在你的电脑上运行。如果你在侧边栏选了云服务，README 说你的音频会发给那家服务，并可能产生费用。

1. 从项目 GitHub 页面的最新 Release 下载 Source code (zip)，解压并打开文件夹。
2. 双击 OneKeyStart.bat，并让这个窗口一直开着。第一次运行会安装 uv、Python 3.12、各种依赖和 FFmpeg，需要联网。
3. VideoLingo 在浏览器里打开后，在侧边栏填入你的 API 地址、密钥和模型。模型要来自兼容 OpenAI 的聊天服务，并且能返回流程需要的结构化 JSON。
4. 先拿一段短视频试，打开配音之前，先读它生成的字幕。

每一步在哪里出错

VideoLingo 的 README 列了一份当前的限制，Whisper 的 README 又补了一条。不管你用哪个工具，它们都是一份不错的地图，标出配音容易在哪些地方坏掉。

发布之前，先检查配音

把配音和原片放在一起播放，看四件事。

• 漂移。把每一场景的结尾和原片对比，因为说得太长的声音，会在那里落后于画面。
• 名字和数字。这些是转写最容易漏的词，价格或日期里错一个数字，就是真正的错误。
• 母语者的耳朵。请一位说目标语言的人，开着声音听一遍。
• 披露。OpenAI 的文字转语音指南说，它的使用政策要求向最终用户清楚披露这个声音是 AI 生成的，自定义声音指南则要求你保留任何来源元数据和水印。
• 音频去了哪里。云服务会收到这段录音：VideoLingo 的 README 说，音频会发给你选的服务，还可能产生费用。上传之前，请读那家服务自己关于音频的条款。

常见错误

• 还没拿一小段试过，就给整段视频配音。
• 跳过读转写稿这一步，结果每句话里都有一个错的名字。
• 逐字翻译，结果一句话还没说完，声音的时间就用完了。
• 把 --model turbo 和 --task translate 一起用，得到的还是原语言。
• 在不分配声音的工具里，给两个说话人用同一个声音。
• 在付费项目里用 Wav2Lip，而它的 README 禁止商用。
• 漏掉告诉观众这个声音是 AI 生成的那一句。

动手试试

• 剪一段只有一个人说话的 30 秒片段，用 gpt-transcribe 或 whisper --model turbo 转写，并标出每一处错误。
• 用上面的提示词翻译转写稿，再请懂这门语言的人读一遍。
• 安装 VideoLingo，只生成字幕，再和你自己的转写稿对比。
• 给最长的三句话配音，并把每一句的时长和原片对比。

下一门课：Vibe coding 入门

你现在能做出语音、声音、歌曲和配音了。Vibe coding 入门是另一种创作：你向 AI 工具描述一个应用，再检查它交回来的东西。

常见问题

资料来源

1. OpenAI API docs: File transcription (2026年11月6日 查阅)https://developers.openai.com/api/docs/guides/speech-to-text
2. OpenAI API docs: Live translation (2026年11月6日 查阅)https://developers.openai.com/api/docs/guides/realtime-translation
3. OpenAI API docs: Text to speech (2026年11月6日 查阅)https://developers.openai.com/api/docs/guides/text-to-speech
4. OpenAI API docs: Custom voices (2026年11月6日 查阅)https://developers.openai.com/api/docs/guides/custom-voices
5. GitHub: openai/whisper README (2026年11月6日 查阅)https://github.com/openai/whisper
6. GitHub: Huanshere/VideoLingo README (2026年11月6日 查阅)https://github.com/Huanshere/VideoLingo
7. GitHub: Rudrabha/Wav2Lip README (2026年11月6日 查阅)https://github.com/Rudrabha/Wav2Lip
8. GitHub: TMElyralab/MuseTalk README (2026年11月6日 查阅)https://github.com/TMElyralab/MuseTalk
9. GitHub: bytedance/LatentSync README (2026年11月6日 查阅)https://github.com/bytedance/LatentSync
10. GitHub: resemble-ai/chatterbox README (2026年11月6日 查阅)https://github.com/resemble-ai/chatterbox