Kandinsky S2V 1.0 Lite

Kandinsky S2V 1.0 Lite

把一张参考图和一段语音录音变成会说话的头像视频，整个人物都会跟着音频动起来。适合有高性能 GPU 的研究者和开发者。只能使用你有权使用的人脸和声音。

由 kandinskylab 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Kandinsky S2V 1.0 Lite 用两个输入生成头像视频，一个是参考帧，一个是语音轨。它让图中的整个人物都动起来，而不只是头部，所以人物会随着语音一起动作。音频只用来引导动作，模型自己不会生成任何声音。

适合谁：它适合制作会说话的头像工具、并且有高端 GPU 来运行视频模型的研究者和开发者。

行业 | 谁在用 | 怎么用 | 例子
视频制作 | 创作者 | 用一张图片和一段语音让角色动起来 | 用一张静态图片制作主持人片段
教育 | 课程制作者 | 把配音脚本变成会说话的人物 | 给一节录好的课配上人脸
游戏和媒体 | 开发者 | 测试由语音驱动的角色动画 | 让卡通人物按一句对白动起来
AI 研究 | 研究者 | 研究语音到视频的扩散模型 | 对比标准版和蒸馏版

如果你需要生成声音、没有大型 GPU，或者没有得到图片中人物的同意，可以跳过它。

用在哪里：

• 一台带 GPU 的机器，运行 GitHub 上的 kandinsky-s2v 代码
• 模型卡列出的 Hugging Face 演示空间，可快速看看效果
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用例 | 谁用 | 得到什么
会说话的头像 | 创作者 | 与你的语音轨匹配的 25 fps 视频
长篇配音 | 制作人 | 以 5 秒为一段拼成的较长视频
更快的生成 | 工程师 | 通过拆分到多个 GPU 降低每秒视频的耗时

如何设置：你要从项目的 GitHub 代码和 uv 工具开始。第一次运行会自己获取检查点和辅助模型。

• 一张强力的 NVIDIA GPU，因为模型卡在 H100 上测得峰值显存约 57 GiB
• uv 工具和 Python
• GitHub 上的 kandinsky-s2v 仓库
• 放得下 4.2 GiB 检查点以及文本编码器和 VAE 的空间

1. 克隆 kandinsky-s2v 仓库并进入它的文件夹。
2. 用 uv 安装依赖。
3. 用语音文件和参考图运行 generate 命令。

cd kandinsky-s2v
uv sync

pip install -U huggingface_hub
hf download kandinskylab/Kandinsky-S2V-1.0-Lite

如何使用：你用配置文件、语音轨、参考帧和输出路径运行一条命令。第一次运行时，代码会从各自的 Hugging Face 仓库获取这个检查点、文本编码器和 VAE。

uv run kandy-s2v generate \
    --config src/kandinsky_s2v/configs/s2v_lite.yaml \
    --audio speech.wav \
    --image reference.png \
    --out out.mp4

工具 | 作用
uv sync | 安装项目的依赖
kandy-s2v generate | 用语音轨和参考图生成视频
--config | 选择 Lite 模型的设置文件
--audio | 驱动动作的语音轨
--image | 要让它动起来的参考帧
--out | 成品视频保存的位置

示例：你传入一段简短的 speech.wav，以及一张你已获得同意去制作动画的人物的清晰 reference.png。命令会写出 out.mp4，这是那个人物说话的视频，25 fps，动作与语音同步。

新手与专家：如果你刚接触这类工具，你给模型一张照片和一段录音，它就让照片里的人看起来在说这些话。第一次可以用一张清晰的照片和几秒钟的语音。

对熟悉这个领域的人来说，它是带流匹配的潜空间扩散。Qwen2.5-Omni-7B 提供文本和音频条件，CLIP 加入池化的文本嵌入，HunyuanVideo 3D VAE 负责编码和解码。2.3B 的 DiT 是主干，32 个视觉块中的 13 个带有语音交叉注意力适配器。

Title: 在一张 H100 上生成一秒视频所需的时间
Default: 44 s
With compile: 35 s
Split across 4 GPUs: 14 s

参考帧和语音轨输入
Qwen2.5-Omni 和 CLIP 提供条件
扩散 Transformer 生成视频潜变量
VAE 把它们解码成 25 fps 的视频

注意事项：有一个叫 Kandinsky-S2V-1.0-Lite-distill 的蒸馏版本，只需 16 步而不是 50 步。显存峰值主要出现在 VAE 解码阶段，分块解码可以降低峰值，代价是出现淡淡的拼接痕迹。

• License: MIT
• Cost to run: 未提及，不过模型卡测试中一张 H100 用了约 57 GiB 的显存
• Data it reaches: 你的参考图和语音文件，以及代码首次运行时从 Hub 下载的模型
• Not for: 未经他人同意让其动起来，或把结果当作真实录像

Hugging Face 上的数据（2026年11月13日）

• 任务：image to video
• 最近 30 天下载：73
• 点赞：9
• 许可证：mit
• 标签：kandinsky_s2v, speech-to-video, avatar, video-generation, kandinsky, image-to-video

链接

• 模型：https://huggingface.co/kandinskylab/Kandinsky-S2V-1.0-Lite
• 文件：https://huggingface.co/kandinskylab/Kandinsky-S2V-1.0-Lite/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download kandinskylab/Kandinsky-S2V-1.0-Lite

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。