PAN 2 World Model

PAN 2 World Model

把文字提示，或提示加首帧图片，转成 PAN 2 世界模型模拟出的短视频。适合想试用或研究世界模型视频生成的人。

由 akhaliq 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个 Space 让你通过 Gradio 页面试用 PAN 2。PAN 2 是一个 29B 参数的世界模型，由 MBZUAI 的基础模型研究院打造。你描述正在发生的事，也可以附上首帧图片，它就把结果模拟成最长 20 秒、704 乘 1248、24 fps 的视频。这个演示通过 Diffusers 流程运行已发布的感知主干，也就是一个潜在扩散模型。

适合谁：它适合想看世界模型如何预测一个动作之后会发生什么的人，也适合想在自己的代码里运行同一条流程的开发者。

Industry | Who uses it | How they use it | Example
研究 | AI 研究人员 | 研究世界模型如何模拟一个描述出来的动作的结果 | 描述一个动作，再看预测出的结果片段
视频与媒体 | 视频创作者 | 用文字或首帧图片试做短的生成片段 | 把一张静止画面加一句说明变成短片段
软件 | 开发者 | 在自己的脚本里运行 Diffusers 流程 | 加载模型，再把结果导出为 mp4 文件

如果你想要不依赖巨型 GPU 的长时间高质量视频，可以跳过它，因为共享硬件只够生成降低分辨率的短片段。

用在哪里：

• 浏览器：打开 Hugging Face 上这个 Space 的页面，不用安装任何东西
• 在 Windows、macOS 或 Linux 上，用 Python 3.12 运行 Gradio 应用的副本
• 在带有大显存 CUDA GPU 的机器上，用 Python 脚本调用 Diffusers 流程
• Hugging Face 上专用的 a100-large Space，Space 的说明建议不受限制地使用时这样做

Use case | Who | What they get back
文字生成视频 | 心里有一个场景的人 | 根据文字描述模拟出的短片段
图片生成视频 | 手上有起始图片的人 | 从你给的首帧继续往下的片段
动作结果 | 研究人员 | 对你用文字描述的动作所预测的结果

如何设置：在线版本什么都不用准备。在自己的电脑上运行副本需要很大的 GPU 显存，因为这个模型在 bf16 下大约占 85 GB。

• 装有 pip 的 Python 3.12，系统可以是 Windows、macOS 或 Linux
• Hugging Face hub 客户端，第一步会安装它
• requirements.txt 里列出的软件包

1. 安装 Hugging Face hub 客户端。
2. 把这个 Space 的文件下载到本地文件夹。
3. 进入这个文件夹。
4. 安装这个 Space 指定的 Gradio 版本。
5. 从 requirements.txt 安装其余的软件包。
6. 启动 app.py。

pip install -U huggingface_hub
hf download akhaliq/PAN2 --repo-type space --local-dir PAN2
cd PAN2
pip install gradio==6.31.0
pip install -r requirements.txt
python app.py

如何使用：在 Space 里输入提示词，如果想从一张图片开始就加上首帧，然后运行生成。在自己的 Python 代码里，按下面的方式用 Diffusers 流程加载模型。

import torch
from diffusers import ModularPipeline
from diffusers.utils import export_to_video

pipe = ModularPipeline.from_pretrained("IFM/PAN2")
pipe.load_components(dtype=torch.bfloat16)
pipe.to("cuda")

video = pipe(
    prompt="A red fox trots through fresh snow in a pine forest at dawn.",
    height=704, width=1248, num_frames=121, num_inference_steps=50,
    generator=torch.Generator().manual_seed(123),
    output="videos",
)[0]
export_to_video(video, "pan2.mp4", fps=24)

Tool | What it does
Text-to-video | 只根据文字提示生成一段片段
Image-to-video | 根据提示加首帧图片生成一段片段

示例：你输入 "A paper boat drifts down a rain gutter while the camera follows from behind"。这个 Space 会返回一段短视频，把这个场景模拟成对接下来会发生什么的预测。

新手与专家：如果你是新手，就打开这个 Space，用两三行写一个场景：谁在做什么，什么时候做，镜头怎么移动。先从短片段开始，因为长片段会超出共享 GPU 的预算。

如果你熟悉这个领域，提示词最好写成结构化、带时间的描述，把有时间点的动作绑定到角色上，并写出镜头运动。完整的 PAN 2 流程还有一个单独的概念推理器，会把自由文本改写成这种形式，而这个演示只运行感知主干。这个 Space 向 ZeroGPU 申请一整块 RTX Pro 6000，每次生成最多允许 300 秒。

你给出提示词和可选的首帧图片
防护模块检查提示词
潜在扩散主干模拟出结果
防护模块检查生成的视频
你得到最长 20 秒的片段

注意事项：这些片段是预测，不是真实事件的记录，所以在可能误导别人的地方，请说明它们由 AI 生成。

• License: apache-2，Space 和模型都这样标注
• Cost to run: 没有提到 API 密钥，但不受限制地使用需要专用的 a100-large Space，ZeroGPU 的使用受每日额度限制
• Data it reaches: 你的提示词、可选的首帧图片和生成的视频，PAN 2 防护模块都会对它们做检查
• Not for: 模型卡列为超出范围的用途，以及在共享硬件上生成长时间的完整质量视频

Hugging Face 上的数据（2026年11月13日）

• 点赞：3
• 构建方式：gradio
• 许可证：apache-2.0

链接

• Space：https://huggingface.co/spaces/akhaliq/PAN2
• 文件：https://huggingface.co/spaces/akhaliq/PAN2/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。