Drishya Tiny

Drishya Tiny

把文字提示，或文字加首帧图片，变成 2 秒、256×256 的视频片段，使用 212M 参数的生成器。这是一个小型研究版本，最擅长海浪、火焰和下雪的天空。

由 udgamlabs 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Drishya Tiny 是一个 212M 参数的小型视频生成器，由 Udgam Labs 从随机权重开始训练。它搭配冻结的 Wan2.2 VAE 和冻结的 Flan-T5-Base 文本编码器。给它一条提示，可以带或不带首帧，它返回一段 17 帧、每秒 8 帧、256×256 像素的短视频。

适合谁：想看看一个微型模型在视频上能走多远的研究人员和好奇的开发者。作者把它标为研究实验，并承认输出时间短、分辨率低，经常偏离提示。

Industry | Who uses it | How they use it | Example
研究 | 机器学习研究人员 | 研究小型生成器从零开始学到什么 | 比较不同引导设置下的结果
教育 | 学生 | 学习文字生成视频的流程怎么拼在一起 | 运行 Python 示例并阅读配置
创意 | 爱好者 | 为好玩制作短的自然风光片段 | 生成一段下雪的片段
网页开发 | 前端开发者 | 试用通过 WebGPU 在设备上运行的模型 | 打开浏览器版本并加一张照片

需要商业使用、长片段或逼真人物的人可以跳过它，因为许可证是非商业的，而且人物效果不好。

用在哪里：

• 装有 PyTorch 的 Python，在 CUDA GPU、Apple silicon 或 CPU 上
• 命令行，通过 drishya 模块
• 支持 WebGPU 的桌面浏览器，例如 Chrome 或 Edge，使用 ONNX 文件
• Hugging Face Spaces 上的 GPU 演示

Use case | Who | What they get back
文字生成视频 | 爱好者和研究人员 | 大致跟随提示的 2 秒片段
图片生成视频 | 创作者 | 以你的照片作为首帧开始的片段
浏览器试用 | 好奇的人 | 在你自己设备上生成的片段，数据不会离开设备

如何设置：

• Python，并装有 PyTorch
• 来自项目 GitHub 仓库的 drishya 包，用卡片里给出的 pip 命令安装
• 这个仓库的文件，只包含生成器：model.safetensors 和 config.json

1. 用 pip 安装 Hugging Face hub 工具。
2. 用 hf 命令下载模型文件。
3. 用卡片里的 pip 命令安装 drishya 包。
4. 冻结的文本编码器和 VAE 会在模型第一次加载时从它们的所有者那里获取。

pip install -U huggingface_hub
hf download udgamlabs/Drishya-Tiny

如何使用：用 from_pretrained 加载管线，传入提示调用它，再用 save_mp4 写出帧。做图片生成视频时，传入一张图片，它会成为首帧，并在中心裁成 256×256。也有命令行形式。

from drishya import Drishya, save_mp4

pipe = Drishya.from_pretrained("udgamlabs/Drishya-Tiny")   # also fetches Flan-T5-Base and the Wan2.2 VAE

# Text-to-video
prompt = "waves crashing on rocks at sunset"
frames = pipe(prompt, image=None, steps=50, cfg=5.0, shift=5.0, seed=0)
save_mp4(frames, "clip.mp4", prompt)

# Image-to-video: the image becomes the first frame (centre-cropped to 256×256) and is kept as given
from PIL import Image
prompt = "a boat drifting on a calm lake"
frames = pipe(prompt, image=Image.open("lake.jpg"), seed=0)
save_mp4(frames, "boat.mp4", prompt)

python -m drishya "waves crashing on rocks at sunset" --out clip.mp4
python -m drishya "a boat drifting on a calm lake" --image lake.jpg --out boat.mp4

Tool | What it does
Drishya.from_pretrained | 加载生成器，并获取冻结的文本编码器和 VAE
save_mp4 | 写出视频，带有 AI 生成标签和来源元数据
python -m drishya | 从命令行运行同一条管线
--image | 指定用作首帧的照片
--out | 设置输出文件名

示例：你要求生成壁炉里燃烧的火焰，因为卡片说火焰是效果最好的主题之一。你会得到一段约 2 秒、256×256 的无声 mp4，又小又软，可能不会匹配提示里的每个细节。

新手与专家：先从风景开始，比如水、天空或雪，只有一个主体，没有文字，没有人脸。分享片段时请保留 AI 生成标签和元数据。卡片要求同时保留这两样。

从原理上看，生成器是一个 VideoDiT，宽度 768、深度 16、12 个头。卡片说默认的 50 个 Euler 步、引导 5 和 shift 5 给出它的基准数字。引导 3 在 FVD 上得分更好，是 373 对 432，但对提示的跟随稍弱。提示会在 77 个词元处被截断。

输入提示，可选再加一张首帧图片
Flan-T5-Base 对提示编码
212M 生成器对视频隐变量去噪
Wan2.2 VAE 解码器把它们变成帧
save_mp4 写出带标签的片段

注意事项：

• Quality: 预期得到短小、低分辨率、常常偏离提示的视频。水、火焰和雪天效果最好，人物效果很差。
• Label: save_mp4 会在每一帧加上一个小的 AI 生成标记，并把提示、种子和模型记录在文件里。卡片要求分享时两样都保留。
• Browser: 浏览器版本一次性下载 665 MB，并使用更轻的解码器，所以片段看起来更软。
• Size: 整个系统文字生成视频约 877M 参数，图片生成视频约 1.03B。
• License: CC BY-NC 4.0，所以只能非商业使用。冻结的部分保留它们自己的许可证。
• Cost to run: 未提及。有 CUDA GPU 时用它，然后是 Apple silicon，再然后是 CPU。
• Data it reaches: 你的提示和照片。浏览器版本把它们留在你的设备上，Python 包会从所有者那里获取冻结的部分。
• Not for: 商业使用、清晰的文字或逼真的人物。卡片还链接了一份使用政策。

Hugging Face 上的数据（2026年11月13日）

• 任务：text to video
• 框架：pytorch
• 参数量：212M
• Weights: about 848 MB in F32; about 106 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：163
• 点赞：6
• 许可证：cc-by-nc-4.0
• 标签：pytorch, onnx, safetensors, udgamlabs, text-to-video, image-to-video, diffusion-transformer, rectified-flow, small-model

链接

• 模型：https://huggingface.co/udgamlabs/Drishya-Tiny
• 文件：https://huggingface.co/udgamlabs/Drishya-Tiny/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download udgamlabs/Drishya-Tiny

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。