Llama-V-JEPA-LM-Qwen3-1.7B

Llama-V-JEPA-LM-Qwen3-1.7B

用一个 2B 的模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Qwen3-1.7B 上，适合只有一块普通 GPU 的人。

由 kkt94 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个小巧的视频语言模型，输入视频和文字，输出文字。一个冻结的 V-JEPA 2.1 视频编码器通过一个小的桥接层，把看到的内容交给 Qwen3-1.7B 语言模型。一个 32 帧的片段会变成 1,024 个视觉 token，训练用到了 460 万个公开样本。

适合谁：想用小模型做视频问答的研究者和工程师会觉得合适。想研究视频编码器如何接入语言模型的学生也适合。

行业 | 谁在用 | 怎么用 | 例子
研究 | 视频语言研究者 | 把小型视频模型和同等规模的其他开源模型做比较 | 测试它读取方向、速度和顺序的能力
机器人与仿真 | 工程师 | 询问场景在帧与帧之间怎么变化 | 问一个物体往哪个方向移动
媒体 | 视频分析师 | 对短视频提问并阅读文字回答 | 问一个片段里发生了什么
教育 | 学生 | 研究世界模型编码器如何接入语言模型 | 阅读模型卡里的架构说明

如果你不做视频相关的工作，可以跳过它。它自己的许可是 Apache-2.0，但训练数据带来了一条 Llama 3.2 的条件。

用在哪里：

• Python 脚本，使用 Hugging Face 为它列出的 transformers 库
• Windows、macOS 或 Linux，机器上要有 CUDA GPU
• 12 GB 或更大的 GPU，这是模型卡提到的运行要求

用途 | 适合谁 | 得到什么
描述一段视频 | 手里有视频片段的人 | 一段自由格式的文字描述
视频问答 | 研究者 | 对一个片段所提问题的文字回答
动作理解 | 工程师 | 关于方向、速度、顺序或状态的回答

如何设置：先装 Python 3.10 或更高版本。PyTorch 必须是适合你显卡驱动的 CUDA 版本。模型卡说它自己的测试里，一个片段的内存峰值是 4.2 GiB。BF16 权重约 4.1 GB，4-bit 估计约 1 GB。

• Python 3.10 或更新版本
• CUDA 版 PyTorch
• 12 GB 或更大的 GPU

1. 安装 PyTorch。
2. 安装模型卡列出的其他软件包。
3. 在 Python 里加载模型并移到 GPU 上。

pip install torch
pip install "transformers>=5" safetensors tokenizers numpy jinja2 eva-decord huggingface_hub

如何使用：加载模型，然后用视频文件的路径和一个问题调用它的 chat 方法。它用贪心解码，以自由格式的文字回答。

import torch
from transformers import AutoModel

model = AutoModel.from_pretrained(
    "kkt94/Llama-V-JEPA-LM-Qwen3-1.7B",
    trust_remote_code=True, dtype=torch.bfloat16,
).to("cuda").eval()

# free-form answer (greedy decoding)
print(model.chat("my_video.mp4", "Describe what happens in the video."))

工具 | 作用
model.chat | 接收视频路径和一个问题，返回文字回答
AutoModel.from_pretrained | 以 BF16 加载模型，并允许运行仓库自带的代码

示例：你传入文件 my_video.mp4，让模型描述视频里发生了什么。它会返回对这个片段的文字描述。

新手与专家：视频语言模型就是回答视频相关问题的模型。一个好的第一步是用你自己的一段短视频运行快速上手的代码，读一读它写出的描述。

视频编码器是由更大的编码器蒸馏出来的 ViT-L，保持冻结，有 0.30B 参数。桥接层把它的特征投影到 1,024 个固定的 PCA 方向上，再接一个 6.6M 参数的可训练 MLP。语言模型做了完整微调，有 1.72B 参数，总共 2.03B。训练采用反事实监督，对公开视频做像素变换，生成答案由构造决定的变体。

一段 384 x 384 的 32 帧片段
冻结的 V-JEPA 2.1 编码器读取它
谱桥接层生成 1,024 个视觉 token
Qwen3-1.7B 读取 token 和问题
模型写出文字回答

Title: 模型卡报告的 12 项视频分数平均值
Llama-V-JEPA-LM-Qwen3-1.7B: 66.02 points
Qwen3-VL-2B: 52.45 points

注意事项：

• License：Apache-2.0，在 Hugging Face 上显示为 apache-2
• V-JEPA 2 编码器是 MIT，FGQA 训练数据遵循 Llama 3.2 Community License，所以名字以 Llama 开头
• Cost to run：没有提到
• Data it reaches：你传入的视频文件，来源没有提到网络或账号访问
• 加载代码设置了 trust_remote_code，所以仓库自带的代码会在你的机器上运行
• Not for：没有提到
• 只列出了英语一种语言

Hugging Face 上的数据（2026年11月13日）

• 任务：video text to text
• 框架：transformers
• 参数量：2B
• Weights: about 4.1 GB in BF16; about 1 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：86
• 点赞：7
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen3-1.7B
• Fine-tunes: 1
• 标签：transformers, safetensors, jepa_llm, feature-extraction, video, video-question-answering, video-language-model, multimodal, v-jepa, world-model, qwen3, video-text-to-text

链接

• 模型：https://huggingface.co/kkt94/Llama-V-JEPA-LM-Qwen3-1.7B
• 文件：https://huggingface.co/kkt94/Llama-V-JEPA-LM-Qwen3-1.7B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download kkt94/Llama-V-JEPA-LM-Qwen3-1.7B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。