Matrix-Game 4.0

Matrix-Game 4.0

把正在运行的游戏的画面重绘成干净的低多边形视频，每个场景一个渲染器：古埃及、城市赛车和中世纪城堡。适合游戏开发者和视频模型研究人员。

由 Skywork 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Matrix-Game 4.0 是一组视频渲染器，每个只针对一个场景训练：古埃及、城市赛车和中世纪城堡。运行中的游戏决定玩法、物理和输入，模型把它的画面重绘成干净的低多边形视频。抬头显示和声音仍是单独的图层，与画面逐帧对齐。

适合谁：研究游戏场景神经渲染的游戏开发者和研究人员最适合它。学习生成式视频的学生也可以把它当作与游戏绑定的模型的实例来读。

行业 | 使用者 | 使用方式 | 例子
游戏 | 游戏开发者 | 把游戏的输出重绘成干净的低多边形视频 | 根据游戏的画面渲染城市赛车场景
研究 | 视频模型研究人员 | 研究只针对单一场景的渲染器 | 比较一步预设和两步预设
教育 | 生成式视频的学生 | 阅读与游戏引擎绑定的模型实例 | 打开发布的清单和配置文件

如果你想要即插即用的 Diffusers 流水线、有保证的帧率，或者适用于任何场景的模型，可以跳过它。

用在哪里：它在项目自己的推理源码里运行，不在 Diffusers 或 Transformers 里运行。

• Matrix-Game 4.0 推理源码，权重必须配合它使用
• 实时预设需要带 CUDA graphs 的单块 GPU
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用例 | 谁用 | 得到什么
第一人称场景 | 游戏开发者 | 古埃及和城堡场景的干净低多边形画面
赛车场景 | 游戏开发者 | 城市赛车的画面，带固定或按块变化的引擎字幕
速度和质量测试 | 研究人员 | 可以对比的质量预设和实时预设

如何设置：你需要 Python、终端、一块 GPU，以及放得下大检查点的空间。

• Windows、macOS 或 Linux 上带 pip 的 Python
• 一块 GPU，不过模型卡不承诺消费级显卡的显存够用
• 放场景检查点的空间，每个检查点有 5,001,016,512 个 BF16 参数

1. 安装 Hugging Face hub 包。
2. 下载仓库文件，或者用发布版的清单下载器，配合固定的修订版，只获取你选的场景。
3. 获取 Matrix-Game 4.0 推理源码，因为没有它权重就无法运行。

pip install -U huggingface_hub
hf download Skywork/Matrix-Game-4.0

清单下载器会自己获取共享的 T5 编码器、分词器和 Wan2.2 VAE，并检查每个文件的长度和 SHA256。不要凭 Hub 文件夹名去猜本地文件夹结构，因为清单会把它们映射到运行时路径。

如何使用：游戏提供输入和物理，推理源码把它的干净 RGB 画面送给模型。输出是 480x864 RGB，启动之后一个潜在块对应四帧。选择一个预设，在质量和成本之间取舍。

Tool | What it does
质量预设 | 使用 Wan VAE 编码和解码，两步去噪，以及原生 DiT
实时预设 | 使用 TAEHV 编码和解码，一步去噪，以及优化过的单 GPU DiT 和 CUDA graphs
base/taew2_2.pth | 存放完整的流式快速编解码器，单独的解码器文件不能替代它的编码器

城堡和古埃及场景使用独立的身份锚点，而赛车使用你提供的图片作为输出的第零帧，并配合绝对位置锚点。不要互换这两种策略。

示例：你用一张提供的首帧图片和一段沿游戏地图的行驶来启动城市赛车场景。模型把这张图片当作输出的第零帧，跳过对它的去噪，并以 480x864 RGB 渲染后面的帧。HUD 和声音来自它们各自的图层。

新手与专家：这不是根据文字提示词生成视频的模型。它重绘的是一个已经在运行的游戏的画面。第一次可以先用上面两条命令下载文件，再打开 config.json 和 releases 文件夹，看看场景列表和清单。

每个场景有自己的检查点，记录里把 alibaba-pai/Wan2.2-Fun-5B-Control 列为基础模型。缓存保存 21 个潜在帧，包括锚点，CFG 设为 1，调度器偏移为 5。质量预设和实时预设是在画质与速度和成本之间取舍。

运行中的游戏提供输入和物理
它的干净 RGB 画面送入模型
模型重绘每一块画面
HUD 和声音作为单独的图层加入

注意事项：每个模型都针对随它提供的场景和相机设置调校。其他人发布了它的一个微调版本。

• Limits: 新的形状、快速的镜头移动、物体互相遮挡和长时间运行，都可能让外观漂移或几何出错
• Gameplay: 碰撞和玩法由游戏自己掌控，渲染不会改变它们
• Not drop-in: 权重不是 Diffusers 流水线，也不包含训练代码和数据
• No guarantees: 模型卡不承诺帧率、显存够用或精确还原场景，也没有声称任何基准
• License: 场景权重、锚点图片和游戏资源来自 Skywork AI，采用 Apache 2.0
• Third parties: 共享的 Wan 和 umT5 文件保留各自的 Apache 2.0 条款，TAEHV 采用 MIT 许可证
• Audio credits: 部分赛车声音适用 CC0 或 CC BY 3.0 条款，所以要保留随它们提供的署名文件
• Cost to run: 未提到费用。它需要 GPU，模型卡没有给出显存数字
• Data it reaches: 从 Hugging Face 下载并按清单校验的文件。模型卡没有提到账号或网络服务
• Not for: 训练，因为没有包含训练代码和数据，也不适用于它没有针对过的场景

Hugging Face 上的数据（2026年11月13日）

• 任务：video to video
• Formats: Safetensors
• 最近 30 天下载：1,150
• 点赞：62
• 许可证：apache-2.0
• 基于：alibaba-pai/Wan2.2-Fun-5B-Control
• Fine-tunes: 1
• 标签：safetensors, matrix-game-4.0, causal-video, game-rendering, video-to-video

链接

• 模型：https://huggingface.co/Skywork/Matrix-Game-4.0
• 文件：https://huggingface.co/Skywork/Matrix-Game-4.0/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Skywork/Matrix-Game-4.0

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。