V-JEPA 2

V-JEPA 2

把视频和图片转成嵌入向量，用于视频分类、检索，或作为视觉语言模型的视频编码器。由 Meta 的 FAIR 打造，适合处理视频的开发者和研究人员。

由 facebook 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：V-JEPA 2 是 Meta 的 FAIR 开发的视频理解模型。它建立在早期 V-JEPA 的预训练目标之上，并扩大了数据和模型规模。这个检查点读取一段视频的 64 帧，返回代表这段视频的嵌入向量。

它的用途是表示视频和图片，用于分类、检索，或作为视觉语言模型里的视频编码器。

适合谁：需要紧凑视频表示的开发者和研究人员最适合它。你通过 transformers 库在 Python 里使用它。

Industry | Who uses it | How they use it | Example
视频搜索 | 机器学习工程师 | 通过对比视频嵌入来检索片段 | 给一个片段库编码，再按相似度排序
视频分析 | 研究团队 | 根据嵌入对视频内容分类 | 在视频嵌入之上训练一个小型分类器
视觉语言系统 | 模型构建者 | 把它用作视觉语言模型的视频编码器 | 把它的嵌入输入更大的模型

如果你想要现成的视频应用，可以跳过它，因为这一页是一个模型和示例代码。

用在哪里：你在自己的电脑上用 Python 运行它，支持 Windows、macOS 或 Linux。

• 使用 transformers 库的 Python 脚本
• 装有 Python 的 Windows、macOS 或 Linux
• 项目的代码仓库，模型卡里有写明

Use case | Who | What they get back
视频分类 | 机器学习工程师 | 可以喂给分类器的嵌入
检索 | 搜索开发者 | 可以在片段之间对比的嵌入
作为 VLM 的视频编码器 | 模型构建者 | 每段视频的向量摘要

如何设置：你需要 Python、最新版的 transformers，以及示例代码导入的几个库。

• Windows、macOS 或 Linux 上的 Python
• 按模型卡的说明安装的最新版 transformers
• torch、torchcodec 和 numpy，视频示例会导入它们

1. 安装 Python。
2. 按模型卡的说明安装最新版 transformers。
3. 用 Hugging Face hub 工具下载模型文件。
4. 按名称加载模型和它的视频处理器。

pip install -U huggingface_hub
hf download facebook/vjepa2-vitl-fpc64-256

如何使用：用检查点名称加载模型和处理器，然后从你的视频里取 64 帧，因为这个模型用的就是这个数量。之后运行处理器，再向模型要视觉特征。

from transformers import AutoVideoProcessor, AutoModel

hf_repo = "facebook/vjepa2-vitl-fpc64-256"

model = AutoModel.from_pretrained(hf_repo)
processor = AutoVideoProcessor.from_pretrained(hf_repo)

先用你自己的视频文件创建一个名为 vr 的 VideoDecoder，再运行下面几行得到嵌入。

import torch
from torchcodec.decoders import VideoDecoder
import numpy as np

frame_idx = np.arange(0, 64) # choosing some frames. here, you can define more complex sampling strategy
video = vr.get_frames_at(indices=frame_idx).data  # T x C x H x W
video = processor(video, return_tensors="pt").to(model.device)
with torch.no_grad():
    video_embeddings = model.get_vision_features(**video)

print(video_embeddings.shape)

如果是单张图片，调用模型之前先把图片复制到你想要的帧数。

Tool | What it does
AutoModel | 按检查点名称加载 V-JEPA 2 模型
AutoVideoProcessor | 为模型准备视频帧
VideoDecoder | 从视频文件里读出帧
get_vision_features | 返回你传入的帧对应的嵌入

示例：你从自己的视频里解码 64 帧，运行处理器，再不带梯度地调用 get_vision_features。最后一行会打印视频嵌入的形状，你可以拿它去做分类或检索。

新手与专家：你可以把这个模型看成一个工具，它看完一段视频，就把看到的内容写成一串数字。第一个小尝试，是用检查点名称加载模型和处理器，确认两者都能加载。

在底层，它扩展了 V-JEPA 的预训练目标，并用更大的数据和模型规模训练。它处理每段视频固定数量的帧，这个检查点是 64 帧，所以采样策略由你决定。静态图片则通过重复复制来凑够帧数。

一个视频文件或一张图片
采样 64 帧，或重复图片
处理器构建模型输入
模型返回视觉特征

注意事项：这个检查点要求每段视频 64 帧，模型卡还指向项目的代码仓库和文档，里面有更多示例。

• Size: 326M 个参数，F32 权重约 1.3 GB，以 Safetensors 格式存放
• Other versions: Hugging Face 列出了其他人做的 5 个量化版本和 13 个微调版本
• License: mit
• Cost to run: 未提及
• Data it reaches: 你加载的视频或图片文件，以及从 Hugging Face 下载的模型文件

Hugging Face 上的数据（2026年11月13日）

• 任务：video classification
• 框架：transformers
• 参数量：326M
• Weights: about 1.3 GB in F32; about 163 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：330,656
• 点赞：220
• 许可证：mit
• Quantized versions: 5
• Fine-tunes: 13
• 标签：transformers, safetensors, vjepa2, feature-extraction, video, video-classification

链接

• 模型：https://huggingface.co/facebook/vjepa2-vitl-fpc64-256
• 文件：https://huggingface.co/facebook/vjepa2-vitl-fpc64-256/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download facebook/vjepa2-vitl-fpc64-256

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。