H-JEPA

H-JEPA

提供已训练好的分层世界模型检查点，用于模拟迷宫、方块和推动任务以及 DROID 机器人数据上的视觉规划。适合复现论文的机器人和世界模型研究人员。

由 jepa-world-models 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库里是 H-JEPA 论文的已训练检查点，这篇论文端到端地学习用于视觉规划的分层世界模型。有四个模拟环境和一个真实机器人数据集的检查点，每个都有多个变体和随机种子。论文的代码发布版用这些检查点来训练、评估并复现规划结果。

适合谁：适合研究世界模型和机器人规划、想要论文结果背后确切检查点的研究人员。

行业 | 谁在用 | 怎么用 | 例子
机器人研究 | 规划研究者 | 用已发布的模型复现论文的规划结果 | 评估一个方块任务的检查点
AI 研究 | 世界模型研究者 | 比较平铺模型和 2、3、4 层的分层模型 | 同样深度下 H-JEPA 与 HWM 的对比
教育 | 研究生 | 用现成训练好的模型学习分层规划 | 加载一个检查点并查看它的各层
机器人学习 | 数据科学家 | 测试用 DROID 机器人数据训练的模型 | 使用第 100 轮的 DROID 检查点

如果你想要开箱即用的模型，可以跳过它，因为这些检查点需要论文的代码发布版才能加载和评估。

用在哪里：它在 Python 和 PyTorch 中运行，使用论文作者的代码发布版，支持 Windows、macOS 或 Linux。

• 带 PyTorch 的 Python
• 论文的代码发布版，它的 h_jepa 文件夹要在 Python 路径上
• 由 HJEPA_HOME 设置指定的本地文件夹，代码从那里读取检查点

使用场景 | 谁用 | 得到什么
规划复现 | 研究人员 | 论文的规划结果，把检查点当作策略使用
模型比较 | 世界模型团队 | 层数不同、可以直接评估的模型
真实机器人研究 | 机器人学习团队 | 用 DROID 数据训练的模型

如何设置：你需要装有 pip 的 Python、PyTorch、代码发布版，以及放检查点的空间，每个文件夹大约 2 到 3 GB。

• 装有 pip 的 Python 和 PyTorch
• 论文的代码发布版
• 指向检查点文件夹的 HJEPA_HOME 设置

1. 安装 Hugging Face 下载工具。
2. 下载四个模拟环境，里面有 84 个检查点。
3. 单独下载 DROID 检查点，里面有 9 个。
4. 如果只需要一部分，可以用包含过滤器把下载限定到一个环境或一个种子。

pip install -U huggingface_hub

hf download jepa-world-models/h-jepa --local-dir $HJEPA_HOME/ckpts --exclude "droid/*"
hf download jepa-world-models/h-jepa --local-dir $HJEPA_HOME/ckpts --include "droid/*"

如何使用：从代码发布版的 h_jepa 文件夹中加载检查点，因为这些文件是被 pickle 序列化的模块。要复现规划结果，把检查点作为策略传给评估脚本，或者按代码发布版 README 的描述运行评估脚本。

import torch

model = torch.load("cube/cube_hjepa_l3/seed42/cube_hjepa_l3_object.ckpt", weights_only=False)

工具 | 作用
_object.ckpt | 一次运行的已训练模型
normalizer.pt | 保存动作和本体感觉的归一化
eval.py | 评估作为策略传入的检查点
HJEPA_HOME | 指定代码读取检查点的文件夹

示例：加载方块任务、种子 42 的三层 H-JEPA 检查点，然后把它作为策略传给评估脚本。代码发布版的 README 说明了如何运行模拟测试，并与论文的规划结果比较。

新手与专家：世界模型是一个网络，能预测某个动作之后场景会是什么样子，所以机器人可以在行动前先做规划。这个模型堆叠了多个层级，因此能做更长时间跨度的规划。第一个小尝试，是下载一个环境文件夹，加载其中一个检查点。

对熟悉这个领域的人来说，每个环境文件夹里有七个模型：LeWM、2、3 或 4 层的 H-JEPA，以及 2、3 或 4 层的 HWM，每个都有 42、43、44 三个种子。DROID 这一组有带逆动力学模型的 LeWM、2 层的 HWM 和 2 层的 H-JEPA，种子是 1、1000 和 10000。每个运行文件夹里有模型和一个归一化器，布局与训练代码写出的一致。

在代码发布版里训练世界模型
按种子保存模型和归一化器
把检查点下载到 HJEPA_HOME
在代码位于路径上的情况下加载它们
运行评估，用策略进行规划

注意事项：检查点是被 pickle 序列化的 Python 对象，所以只加载来自你信任来源的文件。

• Pickle：模型文件需要把 weights_only 设为 False，这会运行 pickle 加载器。
• 数量：有 84 个模拟检查点和 9 个 DROID 检查点。
• DROID：这些模型是用 DROID 数据训练的，模型卡要求你在使用时引用 DROID。

Title: 每个文件夹的下载大小，单位 GB
Ant: 2.6 GB
Four-room: 1.7 GB
Cube: 2.7 GB
Push-T: 2.7 GB
DROID: 2.7 GB

• License: MIT，与代码发布版相同。一些检查点背后的 DROID 数据是 CC BY 4.0。
• Cost to run: 未提及，来源没有列出 API 密钥、账号或付费服务。
• Data it reaches: 你下载的检查点，以及代码发布版使用的评估数据集。
• Not for: 不带代码发布版就加载，因为这些检查点是需要它的 pickle 序列化模块。

Hugging Face 上的数据（2026年11月13日）

• 任务：robotics
• 框架：pytorch
• 最近 30 天下载：0
• 点赞：25
• 许可证：mit
• Quantized versions: 1
• 标签：pytorch, world-models, jepa, planning, robotics

链接

• 模型：https://huggingface.co/jepa-world-models/h-jepa
• 文件：https://huggingface.co/jepa-world-models/h-jepa/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download jepa-world-models/h-jepa

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。