Kandinsky S2V 1.0 Lite distilled

Kandinsky S2V 1.0 Lite distilled

把一张参考图和一段语音变成头像视频，让整个人物随语音动起来。蒸馏版 Lite 只需 16 步，速度约为基础版的 5 倍。

由 kandinskylab 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Kandinsky S2V 1.0 Lite distilled 是语音转视频的头像生成模型。你给它一帧参考图和一段语音，它让整个人物，而不只是头部，随语音动起来。它不会生成声音。

这是蒸馏版本。它用 16 步采样，引导已内置在权重里，所以不再运行负向通道。模型卡说这大约比 50 步的基础模型快 5 倍。

适合谁：适合想用一张图片和一段声音生成会说话的头像视频、并且有 GPU 的开发者和创作者。只使用你有权使用的图片和录音。

Industry | Who uses it | How they use it | Example
营销 | 内容团队 | 用静态图片做会说话的主讲人 | 带动画主持人的产品讲解视频
教育 | 课程创作者 | 给课程加入会说话的角色 | 朗读脚本的导师形象
娱乐 | 动画师 | 根据语音轨道让角色动起来 | 与一句配音对口型的卡通角色
软件 | 应用开发者 | 给产品加入头像回复 | 应用里的客服头像

如果你没有大显存的 GPU，或者需要能自己生成声音的模型，可以跳过它。

用在哪里：它在 GPU 机器上通过项目的命令行运行。模型卡在一块 H100 上测量，并说生成可以在一个节点的多块 GPU 之间拆分。

• kandinsky-s2v 项目，用 uv 运行
• 大显存 GPU，模型卡测试中的峰值为 57 GiB
• 同一节点的多块 GPU，用来加速

Use case | Who | What they get back
会说话的头像视频 | 创作者 | 参考人物说出这段语音的视频
多语言头像 | 工作室 | 项目页面上展示的其他语言的动画说话人
长语音 | 制作人 | 以 5 秒为一块生成的视频

如何设置：你需要 GitHub 上的项目代码、uv 工具和性能足够的 GPU。第一次运行时会从 Hub 下载这个检查点、文本编码器和视频自编码器。

• uv，一个 Python 项目工具
• 大显存的 GPU
• 容纳 4.2 GiB 检查点和编码器的磁盘空间

1. 从 GitHub 获取 kandinsky-s2v 仓库并进入它的文件夹。
2. 用 uv sync 安装依赖。
3. 用你的音频和参考图运行 generate 命令。

pip install -U huggingface_hub
hf download kandinskylab/Kandinsky-S2V-1.0-Lite-distill

如何使用：用蒸馏版配置、你的语音文件、参考图和输出路径运行 generate 命令。结果是 25 fps、标清、与图片宽高比一致的视频。

cd kandinsky-s2v
uv sync
uv run kandy-s2v generate \
    --config src/kandinsky_s2v/configs/s2v_lite_distill.yaml \
    --audio speech.wav \
    --image reference.png \
    --out out.mp4

Tool | What it does
uv sync | 安装项目的依赖
kandy-s2v generate | 根据音频和图片生成头像视频
--config | 选择模型配置，这里是蒸馏版 Lite
--audio and --image | 提供语音轨道和参考帧

示例：你提供一张静态人像和一段口述录音，然后运行命令。你会得到 out.mp4，里面的人物随你的录音同步动嘴说话。

新手与专家：如果你是新手，先用一张清晰的人像和一小段语音试试。较长的语音以 5 秒为一块生成，所以从小处开始，先检查结果。

如果你熟悉这个领域：它是带流匹配的潜在扩散。Qwen2.5-Omni-7B 提供文本和音频条件，2.3B 参数的 DiT 是主干，在 32 个块中的 13 个上有语音交叉注意力，HunyuanVideo 3D VAE 负责视频的编码和解码。

参考帧和语音轨道输入
Qwen2.5-Omni 编码条件
DiT 用 16 步去噪
VAE 解码画面
输出 25 fps 视频

注意事项：峰值内存大部分花在用 VAE 解码画面上。分块解码可以降低这个峰值，不过块与块之间可能出现淡淡的接缝。模型卡列出了在一块 H100 上以 512 x 768 生成每一秒视频所需的时间。

Title: 在 H100 上生成一秒视频所需的秒数
标准运行: 8.7 秒
使用 compile: 7.1 秒
拆分到 4 块 GPU: 3.8 秒

• License: MIT
• Cost to run: 未提及费用，但需要大显存 GPU
• Data it reaches: 你的图片和音频，以及第一次运行时从 Hub 下载的检查点和编码器
• Not for: 生成声音，因为模型只让人物随你提供的语音动起来

Hugging Face 上的数据（2026年11月13日）

• 任务：image to video
• 最近 30 天下载：84
• 点赞：4
• 许可证：mit
• 标签：kandinsky_s2v, speech-to-video, avatar, video-generation, kandinsky, image-to-video

链接

• 模型：https://huggingface.co/kandinskylab/Kandinsky-S2V-1.0-Lite-distill
• 文件：https://huggingface.co/kandinskylab/Kandinsky-S2V-1.0-Lite-distill/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download kandinskylab/Kandinsky-S2V-1.0-Lite-distill

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。