Llama-V-JEPA-LM-Llama3.2-3B

Llama-V-JEPA-LM-Llama3.2-3B

用一个 4.2B 的模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Llama-3.2-3B-Instruct 上，适合只有一块 12 GB 以上 GPU 的人。

由 kkt94 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个视频语言模型，输入视频和文字，输出文字。一个冻结的 V-JEPA 2.1 视频编码器通过一个小的桥接层，把看到的内容交给 Meta 的 Llama-3.2-3B-Instruct。一个 32 帧的片段会变成 1,024 个视觉 token，训练用到了 453 万个公开样本。

适合谁：想用 4B 左右的模型做视频问答的研究者和工程师会觉得合适。想研究视频编码器如何接入语言模型的学生也适合。

行业 | 谁在用 | 怎么用 | 例子
研究 | 视频语言研究者 | 把中等规模的视频模型和同等规模的其他开源模型做比较 | 测试它读取方向、速度和顺序的能力
机器人与仿真 | 工程师 | 询问场景在帧与帧之间怎么变化 | 问一个物体往哪个方向移动
媒体 | 视频分析师 | 对短视频提问并阅读文字回答 | 问一个片段里发生了什么
教育 | 学生 | 研究世界模型编码器如何接入语言模型 | 阅读模型卡里的架构说明

如果你不做视频相关的工作，可以跳过它。它还带有 Meta 的许可条款，建议先读一读。

用在哪里：

• Python 脚本，使用 Hugging Face 为它列出的 transformers 库
• Windows、macOS 或 Linux，机器上要有 CUDA GPU
• 12 GB 或更大的 GPU，这是模型卡提到的运行要求

用途 | 适合谁 | 得到什么
描述一段视频 | 手里有视频片段的人 | 一段自由格式的文字描述
选择题 | 研究者 | 所选选项的序号，以及每个选项的得分
动作理解 | 工程师 | 关于方向、速度、顺序或状态的回答

如何设置：先装 Python 3.10 或更高版本。PyTorch 必须是适合你显卡驱动的 CUDA 版本。模型卡说它自己的测试里，一个片段的内存峰值是 8.5 GiB。BF16 权重约 8.5 GB，4-bit 估计约 2.1 GB。

• Python 3.10 或更新版本
• CUDA 版 PyTorch
• 12 GB 或更大的 GPU
• 先读一遍 Llama 3.2 许可和可接受使用政策

1. 安装 PyTorch。
2. 安装模型卡列出的其他软件包。
3. 在 Python 里加载模型并移到 GPU 上。

pip install torch
pip install "transformers>=5" safetensors tokenizers numpy jinja2 eva-decord huggingface_hub

如何使用：加载模型，然后用视频文件的路径和一个问题调用它的 chat 方法。它用贪心解码，以自由格式的文字回答。它的 choose 方法还可以接收一组选项。

import torch
from transformers import AutoModel

model = AutoModel.from_pretrained(
    "kkt94/Llama-V-JEPA-LM-Llama3.2-3B",
    trust_remote_code=True, dtype=torch.bfloat16,
).to("cuda").eval()

# free-form answer (greedy decoding)
print(model.chat("my_video.mp4", "Describe what happens in the video."))

# multiple choice -> (index of the chosen option, one score per option)
idx, scores = model.choose("my_video.mp4", "Which way does the ball roll?", ["to the left", "to the right"])
print(idx, scores)

工具 | 作用
model.chat | 接收视频路径和一个问题，返回文字回答
model.choose | 接收视频路径、一个问题和一组选项，返回所选序号和每个选项的得分
AutoModel.from_pretrained | 以 BF16 加载模型，并允许运行仓库自带的代码

示例：你传入 my_video.mp4，问小球往哪边滚，并给出两个选项：向左和向右。模型会返回它选中的选项序号和每个选项的得分。

新手与专家：视频语言模型就是回答视频相关问题的模型。一个好的第一步是用你自己的一段短视频运行快速上手的代码，读一读它写出的描述。

视频编码器是冻结的 ViT-g，有 1.01B 参数。桥接层把它的特征投影到 2,048 个固定的 PCA 方向上，再接一个 11.0M 参数的可训练 MLP。语言模型做了完整微调，有 3.21B 参数，总共 4.25B。训练采用反事实监督，对公开视频做像素变换，生成答案由构造决定的变体。

一段 384 x 384 的 32 帧片段
冻结的 V-JEPA 2.1 编码器读取它
谱桥接层生成 1,024 个视觉 token
Llama-3.2-3B-Instruct 读取 token 和问题
模型写出文字回答

Title: 模型卡报告的 12 项视频分数平均值
Llama-V-JEPA-LM-Llama3.2-3B: 68.97 points
Molmo2-4B: 61.08 points

注意事项：

• License：Llama 3.2 Community License，在 Hugging Face 上显示为 llama3
• V-JEPA 2 编码器是 MIT
• Cost to run：没有提到
• Data it reaches：你传入的视频文件，来源没有提到网络或账号访问
• 加载代码设置了 trust_remote_code，所以仓库自带的代码会在你的机器上运行
• Not for：Meta 的 Llama 3.2 可接受使用政策所禁止的用途
• 只列出了英语一种语言

Hugging Face 上的数据（2026年11月13日）

• 任务：video text to text
• 框架：transformers
• 参数量：4.2B
• Weights: about 8.5 GB in BF16; about 2.1 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：109
• 点赞：7
• 许可证：llama3.2
• 语言：en
• 基于：meta-llama/Llama-3.2-3B-Instruct
• 标签：transformers, safetensors, jepa_llm, feature-extraction, video, video-question-answering, video-language-model, multimodal, v-jepa, world-model, llama, llama-3

链接

• 模型：https://huggingface.co/kkt94/Llama-V-JEPA-LM-Llama3.2-3B
• 文件：https://huggingface.co/kkt94/Llama-V-JEPA-LM-Llama3.2-3B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download kkt94/Llama-V-JEPA-LM-Llama3.2-3B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。