PAN 2

PAN 2

MBZUAI 的 IFM 做的 29B 世界模型，把一个场景和描述的动作变成最长 20 秒的视频，让智能体可以预览结果，适合有大显卡的研究人员和智能体开发者。

由 IFM 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：PAN 2 是 MBZUAI 基础模型研究院的世界模型。它预测一个场景在你用文字描述的动作之后会如何变化。你用文字给出当前场景，可以附一张图片，再加上动作，它就返回结果的视频，最长 20 秒。这个仓库放的是 BF16 格式的 29B 扩散主干。

适合谁：它适合想在选择动作之前先看到可能结果的研究人员和智能体开发者，也适合想根据描述的场景做短片的视频创作者。

Industry | Who uses it | How they use it | Example
人工智能研究 | 研究人员 | 研究世界模型和模拟推理 | 按模拟出的结果对比候选动作
智能体 | 智能体开发者 | 让智能体在行动前预览结果 | 模拟每个计划，选看起来最好的结果
媒体 | 视频创作者 | 根据第一帧和一段描述做短片 | 用一张图做出最长 20 秒的片段
模拟 | 开发者 | 制作场景在动作之后如何变化的原型 | 角色执行一步之后的场景

如果你想要适合小 GPU 的轻量视频工具，可以跳过它，因为仅权重就约 58.4 GB。

用在哪里：

• 带 conda 的 Python，使用模型卡里的 generate.py 脚本
• Diffusers 和 vLLM，模型卡说它们也支持这个模型
• 带 NVIDIA GPU 的电脑，因为安装用的是 CUDA 版本的 PyTorch

Use case | Who | What they get back
文生视频 | 创作者 | 根据结构化文字描述生成的视频
图生视频 | 创作者 | 从你的第一帧开始的视频
动作模拟 | 智能体开发者 | 你描述的动作所产生结果的视频

如何设置：

你需要先准备：

• Python 和 conda，Python 用模型卡里的 3.14
• 一块 CUDA GPU，以及约 58.4 GB BF16 权重的磁盘空间
• 带 CUDA 构建的 PyTorch 2.12.1 和 torchvision 0.27.1
• 文本编码器 Qwen3.5-9B 和 Wan 2.2 VAE，它们从各自的仓库下载

1. 安装 Hugging Face hub 工具，下载 transformer 文件夹。
2. 把权重转换一次，转成 generate.py 读取的布局。
3. 创建 conda 环境并安装库。
4. 下载冻结的文本编码器和 VAE。
5. 把 CKPT_PATH 指向转换后的 transformer 文件夹，然后运行 generate.py。

pip install -U huggingface_hub
hf download IFM/PAN2 --include "transformer/*" --local-dir /path/to/PAN2
python scripts/convert_checkpoint.py to-native \
    --input /path/to/PAN2/transformer --output <DIR>/transformer

conda create -n pan python=3.14 -y && conda activate pan
pip install --pre "flash-attn-4[cu13]==4.0.0b29" --no-build-isolation
pip install "quack-kernels[cu13]==0.6.4"
pip install -r requirements.txt

export HF_HOME=YOUR_HF_PATH
hf download Qwen/Qwen3.5-9B
hf download Wan-AI/Wan2.2-TI2V-5B-Diffusers

如何使用：按模型卡要求的结构化文字形式描述场景和动作，有第一帧就加上，然后运行 generate.py。这里给出的模型卡部分在生成命令之前就结束了，所以具体调用请读完整的模型卡。

Tool | What it does
generate.py | 模型卡用来生成视频的脚本
convert_checkpoint.py | 把发布的权重转换成 generate.py 读取的布局
Diffusers | 按模型卡所说，也支持 PAN 2
vLLM | 按模型卡所说，也支持 PAN 2

示例：你给一张桌上杯子的图片，并写下一只手把它推下桌沿。PAN 2 返回一段最长 20 秒的视频，展示接下来发生的事。模型卡没有展示这次具体的运行，所以请把它当作预期。

新手与专家：世界模型预测场景接下来会发生什么。第一步可以先读模型卡的概述，并在下载任何东西之前，确认你的 GPU 放得下权重。

模型卡描述了两个部分。一个大语言模型先读取场景和动作，然后起草一份结构化的文字描述，说明接下来世界是什么样。接着一个潜在扩散模型预测与之匹配的视频，Wan 2.2 解码器再把它变成画面。发布的检查点是 29B 的扩散部分，模型卡说它用数亿个视频从头学习。

描述场景和动作
语言模型写出下一个世界状态
扩散模型预测视频潜变量
解码器渲染出视频

注意事项：权重很大，4-bit 的数字只是 Hugging Face 自己的估算。

Title: 权重大小，单位 GB
BF16 weights: 58.4 GB
4-bit estimate: 14.6 GB

• 输出: 704x1248、24 fps 的视频，最长 20 秒
• 任务: 一个检查点同时覆盖文生视频和图生视频
• 转换: 权重以 diffusers 布局发布，所以要为 generate.py 转换一次
• 单独下载: 文本编码器和 VAE 来自其他仓库
• License: Apache 2.0
• Cost to run: 未提及，GPU 由你自己提供
• Data it reaches: 你给它的文字和图片，以及你另外下载的模型

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to video
• 框架：diffusers
• 参数量：29.2B
• Weights: about 58.4 GB in BF16; about 14.6 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：10
• 点赞：83
• 许可证：apache-2.0
• 语言：en
• Fine-tunes: 1
• 标签：diffusers, safetensors, world-model, world-simulation, text-to-video, image-to-video, image-text-to-video, diffusion-transformer

链接

• 模型：https://huggingface.co/IFM/PAN2
• 文件：https://huggingface.co/IFM/PAN2/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download IFM/PAN2

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。