LeVJEPA 1.5 Large

LeVJEPA 1.5 Large

把视频片段和单张图片编码成特征向量，用约 5,300 小时视频做自监督训练。这是面向研究者的视频编码器，采用非商业许可。

由 galilai-group 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：LeVJEPA 1.5 Large 是一个不用标签训练的视频编码器。它把一小段视频或一张图片变成特征向量，供其他模型在此基础上使用。它在 22 个图像和视频数据集上的平均分是 78.76%。训练用了大约 5,300 小时互不相同的视频和 151 exaflops。

适合谁：它适合研究视频表征学习、想要一个训练数据比以往少得多的编码器的研究者。许可是非商业的。

Title: 谁在用
Industry | Who uses it | How they use it | Example
研究 | 表征学习研究者 | 在图像和视频数据集上探测冻结的编码器 | 复现模型卡里的注意力探测结果
软件 | 计算机视觉开发者 | 为下游分类器提取片段特征 | 把片段特征送进一个小分类器
医学影像 | 研究医学图像数据集的团队 | 在 MNIST 风格的医学数据集上测试编码器 | 查看 BloodMNIST 或 DermaMNIST 的得分

如果你需要用于商业产品的模型，可以跳过它。

用在哪里：

• Windows、macOS 或 Linux 上，配合 PyTorch 和 transformers 库的 Python
• LeVJEPA 代码仓库，不用 transformers 也能加载同样的权重
• 研究用的 notebook，仓库里附带一个补丁特征可视化工具

Title: 它能做的事
Use case | Who | What they get back
片段特征 | 研究者 | 每个片段一个 1024 个数字的摘要向量
逐帧补丁特征 | 视觉开发者 | 16 帧中每一帧的补丁词元
图像特征 | 开发者 | 单张图片沿时间轴重复后得到的向量

如何设置：

• 装有 PyTorch 和 transformers 的 Python
• 16 帧、224 乘 224 像素的片段，用 ImageNet 的均值和标准差归一化
• 允许运行模型自带的代码，因为必须开启 trust_remote_code

1. 安装 PyTorch 和 transformers。
2. 如果愿意，可以手动下载模型文件。
3. 用 AutoModel 加载模型，并让一段片段通过它。

pip install -U huggingface_hub
hf download galilai-group/LeVJEPA-1.5-Large

如何使用：
传入形状为批量、通道、时间、高、宽的张量。模型卡以约每秒 7.5 帧采样，所以 16 帧约覆盖 2 s。结果以 [cls] 词元开头，然后依次列出每一帧的补丁词元。

import torch
from transformers import AutoModel

model = AutoModel.from_pretrained("galilai-group/LeVJEPA-1.5-Large", trust_remote_code=True).eval()

video = torch.randn(1, 3, 16, 224, 224)   # (B, C, T, H, W), ImageNet-normalized
with torch.no_grad():
    out = model(pixel_values=video)

out.last_hidden_state   # (1, 3137, 1024): [cls] + 16 * 14 * 14 patch tokens, in (frame, row, column) order
out["pooler_output"]    # (1, 1024): the [cls] token

Title: 调用时要知道的事
Tool | What it does
last_hidden_state | 包含 [cls] 词元和每一帧的补丁词元
pooler_output | 单独给出 [cls] 词元，是 1024 个数字的向量
trust_remote_code | 必须开启，因为建模代码随权重一起提供
attn_mode | 保持 block_causal，因为全注意力返回的特征更差

示例：
你传入一段 16 帧、224 乘 224 的片段，约 2 s 的视频。模型为整段片段返回一个 1024 个数字的向量，并为每一帧的每个图像区域返回一个补丁词元。对于单张图片，你先把它沿时间轴重复 16 次。

新手与专家：
如果你是新手，这个模型不会替你给视频贴标签。它把片段变成描述它的数字，其他工具再使用这些数字。第一件小事是用随机数代替真实片段，运行示例代码。

如果你懂这个领域，单个编码器通过匹配同一片段的宽视图和窄视图来学习，并用 SIGReg 做正则化。训练里没有滑动平均教师、没有停止梯度步骤、没有预测器，也没有还原到像素的解码器。架构是 24 层的 ViT-L/16。代价在视频准确率上：7 个视频数据集的平均分是 68.94，V-JEPA 1 是 72.79，V-JEPA 2 是 74.61。

采样 16 帧，224 乘 224
用 ImageNet 统计量归一化
以块因果模式运行编码器
读取 cls 词元和补丁词元

注意事项：

Title: 22 个数据集上的平均分
LeVJEPA 1.5 Large: 78.76 %
V-JEPA 1: 79.77 %
V-JEPA 2: 81.63 %

• 训练预算：约 5,300 小时不重复的视频，V-JEPA 1 约 136,000 小时，V-JEPA 2 约 1,700,000 小时。
• 评测：三个编码器都以冻结方式用注意力探测来测试。
• 权重：模型卡说之前的上传用了另一次训练的权重，现已修复。
• License：cc-by-nc-4.0，所以是非商业的。
• Cost to run：没有提到 API 密钥、账号或付费服务。
• Data it reaches：它从 Hugging Face 下载权重，模型卡没有提到别的访问。
• Not for：商业用途，许可不允许。

Hugging Face 上的数据（2026年11月13日）

• 任务：video classification
• 框架：transformers
• 参数量：303M
• Weights: about 1.2 GB in F32; about 152 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：269
• 点赞：18
• 许可证：cc-by-nc-4.0
• 标签：transformers, safetensors, levjepa, feature-extraction, self-supervised-learning, jepa, video, image, video-classification

链接

• 模型：https://huggingface.co/galilai-group/LeVJEPA-1.5-Large
• 文件：https://huggingface.co/galilai-group/LeVJEPA-1.5-Large/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download galilai-group/LeVJEPA-1.5-Large

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。