Llama-V-JEPA-LM-Llama3.1-8B

Llama-V-JEPA-LM-Llama3.1-8B

把冻结的 V-JEPA 2.1 视频编码器接到 Llama-3.1-8B-Instruct 上，用来回答关于视频片段的问题，适合做视频理解的人。

由 kkt94 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个视频语言模型，输入视频和文字，输出文字。一个冻结的 V-JEPA 2.1 视频编码器通过一个小的桥接层，把画面交给 Meta 的 Llama-3.1-8B-Instruct。经过桥接层后，一个 32 帧的片段变成 1,024 个视觉 token。训练用到了 453 万个公开样本。

适合谁：做视频问答的研究者和工程师最能用上它，尤其是在动作和随时间变化很重要的时候。想研究视频编码器如何接入语言模型的学生也适合。

行业 | 谁在用 | 怎么用 | 例子
研究 | 视频语言研究者 | 和其他同等规模的开源模型比较视频理解能力 | 测试它读取方向、速度和顺序的能力
机器人与仿真 | 工程师 | 询问场景在帧与帧之间怎么变化 | 问一个物体往哪个方向移动
媒体 | 视频分析师 | 对短视频提问并阅读文字回答 | 问一个片段里发生了什么
教育 | 学生 | 研究世界模型编码器如何接入语言模型 | 阅读模型卡里的架构说明

如果你不做视频相关的工作，可以跳过它。它还带有 Meta 的许可条款，建议先读一读。

用在哪里：

• transformers 库，Hugging Face 为它列出的库
• Windows、macOS 或 Linux 上的 Python，用来下载文件
• 一台有足够空间放约 18.1 GB BF16 权重的机器，4-bit 估计约 4.5 GB

用途 | 适合谁 | 得到什么
视频问答 | 研究者 | 关于一个片段的文字回答
动作理解 | 工程师 | 关于方向、速度、顺序或状态的回答
模型对比 | 学生 | 和其他开源视频模型对照的参考点

如何设置：你需要 Python 和 pip，以及放得下权重的内存。来源没有给出运行代码，它的记录说运行步骤在模型页面上。

• Python 和 pip，在 Windows、macOS 或 Linux 上
• 约 18.1 GB 的 BF16 磁盘空间
• transformers 库，这个模型列出的库
• 先读一遍 Llama 3.1 许可和可接受使用政策

1. 安装 Hugging Face 的 hub 软件包。
2. 下载模型文件。
3. 按模型页面上的步骤运行模型。

pip install -U huggingface_hub
hf download kkt94/Llama-V-JEPA-LM-Llama3.1-8B

如何使用：给模型一段 32 帧的片段，均匀采样，分辨率 384 x 384，再加一个文字问题。它会写出文字回答。来源没有给出调用方式，具体代码请看模型页面。

示例：你给它一段小球在桌上滚动的短视频，问小球往哪个方向去了。模型读取这个片段的视觉 token，用文字作答。

新手与专家：视频语言模型就是回答视频相关问题的模型。下载体积很大的权重之前，一个小的起步是先读模型卡里的亮点部分，它们涉及方向、速度、顺序和状态。

视频编码器保持冻结，有 1.01B 参数。桥接层先把编码器特征投影到 2,048 个固定的 PCA 方向上，共用一个缩放系数，再经过一个 13.2M 参数的可训练 MLP。语言模型做了完整微调，有 8.03B 参数，总共 9.07B。训练采用反事实监督，对公开视频做像素变换，生成答案由构造决定的变体。模型卡报告的是它自己的分数，无论分辨率多少，每个片段都固定是 1,024 个 token。

一段 384 x 384 的 32 帧片段
冻结的 V-JEPA 2.1 编码器读取它
谱桥接层生成 1,024 个视觉 token
Llama-3.1-8B-Instruct 读取 token 和问题
模型写出文字回答

Title: 模型卡报告的 12 项视频分数平均值
Llama-V-JEPA-LM-Llama3.1-8B: 70.51 points
PLM-8B: 64.79 points

注意事项：

• License：Llama 3.1 Community License，在 Hugging Face 上显示为 llama3
• V-JEPA 2 编码器是 MIT，FGQA 训练数据遵循 Llama 3.2 Community License
• Cost to run：没有提到
• Data it reaches：你喂给它的视频片段，来源没有提到网络或账号访问
• Not for：Meta 的 Llama 3.1 可接受使用政策所禁止的用途
• 只列出了英语一种语言

Hugging Face 上的数据（2026年11月13日）

• 任务：video text to text
• 框架：transformers
• 参数量：9.1B
• Weights: about 18.1 GB in BF16; about 4.5 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：120
• 点赞：8
• 许可证：llama3.1
• 语言：en
• 基于：meta-llama/Llama-3.1-8B-Instruct
• 标签：transformers, safetensors, jepa_llm, feature-extraction, video, video-question-answering, video-language-model, multimodal, v-jepa, world-model, llama, llama-3

链接

• 模型：https://huggingface.co/kkt94/Llama-V-JEPA-LM-Llama3.1-8B
• 文件：https://huggingface.co/kkt94/Llama-V-JEPA-LM-Llama3.1-8B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download kkt94/Llama-V-JEPA-LM-Llama3.1-8B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。