VQGAN + CLIP

VQGAN + CLIP

把一句文字变成图像，你能看着图像从噪点里逐步成形，并把整个过程存成视频。适合艺术家、学生，以及对经典文生图方法好奇的开发者。

由 multimodalart 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个 Space 重现了经典的 VQGAN 加 CLIP 文生图方法。你输入一句话，图像就从随机噪点里慢慢成形，由它与你文字的匹配程度来引导。过程中的每一步都会保留，所以你还能得到一段图像成形的视频。

适合谁：如果你喜欢生成艺术、想了解早期文生图系统怎么工作，或者想读一份紧凑的实现，它很适合你。

行业 | 谁在用 | 怎么用 | 例子
数字艺术 | 艺术家 | 用一句话生成抽象图像并保存过程视频 | 分享图像成形的片段
教育 | 学生和老师 | 观察文字引导的图像怎样一步步生成 | 给全班演示噪点如何变成图片
研究 | 机器学习爱好者 | 用同一句话对比四种引导模型 | 在同一提示词上对比 ViT-B/16 和 SigLIP2
软件 | 开发者 | 阅读生成和视频代码 | 看看帧是怎样不占额外 GPU 时间保存的

如果你想要现代图像模型那种照片级效果，可以跳过它，因为这是对旧方法的复现。

用在哪里：

• 网页浏览器：打开 Hugging Face 上的 Space 页面
• Windows、macOS 或 Linux：用 Python 运行一份副本
• 想生成较大的图像，需要性能足够的 GPU 电脑，因为显存限制画面大小

用途 | 谁用 | 得到什么
从一句话生成 | 艺术家和爱好者 | 由你的文字塑造的图像，带实时预览
保存过程 | 创作者 | 每一步的 MP4，默认速率下 250 步约 10 秒
自定义尺寸 | 设计师 | 128 到 1280 像素的画面，有方形、横向和竖向预设
从自己的图片开始 | 实验者 | 由可选起始图像引导的图像

如何设置：在线页面什么都不需要。本地副本需要 Python 和 requirements.txt 里的包。

• 在线演示需要网页浏览器
• 本地副本需要 Python
• requirements.txt 里列出的包

1. 想在线使用，打开 Hugging Face 上的 Space 页面。
2. 想运行副本，先安装 Hugging Face hub 包。
3. 把 Space 下载到本地文件夹。
4. 进入该文件夹，安装 Gradio 6.20.0 和列出的包。
5. 启动应用。

pip install -U huggingface_hub
hf download multimodalart/vqgan-clip-video --repo-type space --local-dir vqgan-clip-video
cd vqgan-clip-video
pip install gradio==6.20.0
pip install -r requirements.txt
python app.py

如何使用：在应用所在文件夹运行它，或者直接打开在线 Space。输入一句话，从四个引导模型里选一个，然后开始运行。预览每 20 步刷新一次，运行结束后你会得到整个下降过程的视频。

python app.py

示例：你输入一句描述场景的短话，使用默认的 512 乘 512 像素和 32 个裁切。你看着预览从噪点变成图片，然后下载整个过程的 MP4。

新手与专家：如果你是新手，输入一句短话，所有设置都保持不动。看着图片从杂点里出现就是重点，所以记得保留视频。

如果你熟悉这个领域，你可以在四个模型里选一个来评估图像与文字的契合度：三个 CLIP 变体和一个 SigLIP2。四个都在启动时加载。每个都优先使用预编译包，缺失或不匹配时退回 eager bf16。帧通过固定缓冲区复制到原始文件，再在 CPU 上编码成 MP4，所以视频不占 GPU 时间。关闭编译选项后，宽高以 16 为步长，与码本的下采样因子一致。

你输入一句话并选择引导模型
图像从噪点或你的起始图开始
每一步都向你的文字靠近
每一步的帧都被保存
这些帧被合成 MP4

注意事项：限制画面大小的是显存，而不是滑块，因为解码器和裁切批次共用一份预算。在 32 个裁切时，最大的良好尺寸取决于引导模型。

Title: Largest good frame width at 32 cutouts
CLIP ViT-B/32: 1280 pixels
CLIP ViT-B/16: 1024 pixels
CLIP ViT-L/14: 768 pixels
SigLIP2: 768 pixels

• License: MIT
• Cost to run: 未提及
• Data it reaches: 你提供的文字和可选起始图像
• Not for: 超过引导模型显存所允许的尺寸，状态栏会提示

Hugging Face 上的数据（2026年11月13日）

• 点赞：6
• 构建方式：gradio
• 许可证：mit

链接

• Space：https://huggingface.co/spaces/multimodalart/vqgan-clip-video
• 文件：https://huggingface.co/spaces/multimodalart/vqgan-clip-video/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。