MuseTalk 1.5

MuseTalk 1.5

用参考图片或视频加一段驱动音频生成口型同步的视频，并提供嘴部区域的测试步骤。是给做说话人脸的人用的 Gradio 演示。

由 henrybit 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：MuseTalk 1.5 是 MuseTalk 模型的 Gradio 演示。你给它一张带人脸的参考图片或视频，再加一段音频，它会生成嘴巴随音频动起来的视频。在完整运行之前，有一个步骤可以先在第一帧上测试修复设置。

代码固定在 MuseTalk 项目的某一个提交上。仓库里还有一个 RESEARCH.md 文件，里面有技术评估。

适合谁：适合做说话人脸、想用自己的素材试试口型同步，又不想先搭好整条流程的人。

行业 | 谁在用 | 怎么用 | 例子
媒体 | 视频剪辑师 | 让说话人的嘴型对上新音频 | 用替换的配音轨测试一小段视频
软件 | 开发者 | 在集成之前先试试模型 | 用一张图片和一个音频文件运行演示
研究 | 计算机视觉研究者 | 研究口型同步输出的表现 | 在第一帧上调整嘴部设置

如果你没有权限使用那些人脸或音频，可以跳过它，因为 README 要求只上传你有权使用的素材。

用在哪里：

• 网页浏览器：打开 Hugging Face 上这个 Space 的页面，无需安装任何东西
• 装有 Python 的 Windows、macOS 或 Linux：用你下载的副本运行

用例 | 谁用 | 得到什么
给人像做口型同步 | 创作者 | 人脸说出你的音频的视频
给短视频配音 | 剪辑师 | 嘴型对上新音频的片段
检查嘴部区域 | 开发者 | 完整运行之前的第一帧预览

如何设置：

• 你电脑上的 Python 3.10
• requirements.txt 里列出的 Python 包
• packages.txt 里列出的系统包，Space 用 apt-get 安装它们
• huggingface_hub 包，它提供 hf 命令
• 首次启动需要等一段时间，因为模型权重会在那时下载

1. 安装 huggingface_hub 包。
2. 用 hf 命令下载这个 Space。
3. 进入下载好的文件夹。
4. 安装指定版本的 Gradio。
5. 安装 requirements.txt 里的包。
6. 用 Python 启动应用。

pip install -U huggingface_hub
hf download henrybit/musetalk-1-5 --repo-type space --local-dir musetalk-1-5
cd musetalk-1-5
pip install gradio==5.49.1
pip install -r requirements.txt
python app.py

如何使用：打开这个 Space 的页面，或者用下面的命令启动你自己的副本。添加一张正面的图片或脸部清晰的短视频，再添加驱动音频，运行 Test Inpainting，然后生成完整结果。

python app.py

工具 | 作用
Test Inpainting | 在第一帧上预览嘴部区域
bbox_shift | 嘴部区域看起来不对时要调整的设置
Generate | 生成完整的口型同步视频

示例：你添加一张正面照片和一小段语音，然后运行 Test Inpainting。如果嘴部看起来正常，就生成完整视频，得到那张脸说出这段语音的视频。

新手与专家：如果你刚接触口型同步，用一张清晰的正面照片和几秒钟的音频。先运行测试步骤，因为它比完整运行快。视频输入的话，README 更倾向 25 fps。

如果你懂这个领域，这个演示把 MuseTalk 1.5 包装成适配 ZeroGPU 的形式，只有在 generate 函数运行时才会分配 GPU。首次启动会获取几组权重，包括 UNet 和 Whisper-tiny 模型，可能要几分钟，之后的启动会复用 Hub 缓存。

你添加人脸图片或视频和音频
Test Inpainting 预览第一帧
需要时调整 bbox_shift 和边距
Generate 生成口型同步视频

注意事项：

• 许可证：Space 标注的是 mit
• 运行成本：下载公开模型不需要任何密钥，只有在 Hub 限流或你的环境需要时才用 HF_TOKEN
• 触及的数据：你上传的图片、视频和音频，以及从 Hub 下载的模型权重
• 不适合：你没有权限使用的素材，README 还要求你在发布时说明视频是合成或修改过的

Hugging Face 上的数据（2026年11月13日）

• 点赞：2
• 构建方式：gradio
• 许可证：mit

链接

• Space：https://huggingface.co/spaces/henrybit/musetalk-1-5
• 文件：https://huggingface.co/spaces/henrybit/musetalk-1-5/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。