VideoJev-4B

VideoJev-4B

找出视频里某件事发生的时间，并回答关于视频的选择题，方式是直接给候选项打分。基于 Qwen3.5-4B，适合视频研究者和开发者。

由 ZhuYuhan 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：VideoJev-4B 是一个有 45 亿参数的视频理解模型，基于 Qwen3.5-4B。它是一个视频 System One 模型，直接给候选项打分，而不是写自由文本。它做两件事：找出视频里与一句话匹配的时间段，以及为关于视频的选择题选出正确答案。

适合谁：适合想用一个小巧模型定位视频片段、或回答视频选择题的视频研究者和开发者。

行业 | 谁在用 | 怎么用 | 例子
媒体 | 视频剪辑师和资料管理员 | 找出视频里与一句话匹配的片刻 | 找到穿绿衣服的女人在吃意大利面的时刻
科研 | 视频理解研究者 | 测试时间定位和视频选择题问答 | 对比不同视频上的答案
软件 | 应用开发者 | 给工具加入片刻搜索和视频提问 | 回答关于上传视频的选择题

需要自由书写答案或视频生成的人可以跳过它，因为它给时间段和答案选项打分。

用在哪里：

• 在 NVIDIA GPU 上运行、装有 transformers 库的 Python，如模型卡的示例
• 模型卡测试过的环境：Python 3.12、带 CUDA 12.8 的 PyTorch 2.8 和一块 H200
• Windows、macOS 或 Linux，装有 Python，用来下载文件

使用场景 | 适合谁 | 你会得到什么
时间定位 | 研究者 | 以秒为单位的时间区间，以及每一秒的概率
视频选择题问答 | 开发者 | 选出的选项、它的序号，以及每个选项的概率
基准测试 | 评测者 | 一个模型在两项任务上的得分

如何设置：你需要先准备几样东西。

• Python 3.12 和先装好的匹配版本 PyTorch
• 一块 NVIDIA GPU，因为示例把模型加载到 cuda:0
• 约 8.9 GB BF16 权重所需的磁盘空间

1. 安装与你 CUDA 版本匹配的 PyTorch。
2. 安装模型卡列出的 Python 包。
3. 在不使用构建隔离的情况下编译 flash-attn 和 causal-conv1d。
4. 运行示例脚本。

pip install -U huggingface_hub
hf download ZhuYuhan/VideoJev-4B

pip install transformers==5.14.1 accelerate safetensors numpy pillow av==18.1.0 \
  flash-linear-attention==0.4.2 fla-core==0.4.2
pip install flash-attn causal-conv1d --no-build-isolation

如何使用：你加载处理器和模型，让模型准备好推理，再把一段视频和一组问题传给 predict_video。每个问题要么是定位查询，要么是带选项的选择题。

import json
import torch
from huggingface_hub import hf_hub_download
from transformers import AutoModel, AutoProcessor

video = hf_hub_download(
    repo_id="ZhuYuhan/VideoJev-Demo", filename="eating_spaghetti.mp4",
    repo_type="dataset", revision="7e2b9685bca592c3b929268f6fcf82c4ad74b267",
)
repo = "ZhuYuhan/VideoJev-4B"
processor = AutoProcessor.from_pretrained(repo, trust_remote_code=True)
model = AutoModel.from_pretrained(
    repo, trust_remote_code=True, dtype=torch.bfloat16,
    device_map={"": "cuda:0"}, attn_implementation="flash_attention_2",
)
model.prepare_for_inference()

questions = [
    {"id": "grounding-1", "task": "grounding",
     "query": "The woman in green eats pasta."},
    {"id": "qa-1", "task": "choice",
     "query": "What is the woman in green eating?",
     "options": ["A. Pasta.", "B. Rice.", "C. Soup."]},
]
results = model.predict_video(
    processor, video, questions,
    fps=2.0, max_frames=2048, context=8192,
)
print(json.dumps(results, indent=2))

工具 | 作用
AutoProcessor | 为模型准备视频和问题
AutoModel | 加载 VideoJev-4B，需要开启 trust_remote_code
prepare_for_inference | 让加载好的模型准备好给视频打分
predict_video | 把一组定位题和选择题对照视频打分
threshold | 定位的阈值，默认 0.25，每次调用可调整

示例：你在一段 10 秒、有人吃意大利面的视频上运行模型卡的脚本。关于穿绿衣服的女人吃面的定位查询，返回 3.0 到 10.0 秒的区间。关于她在吃什么的选择题，返回第一个选项，也就是面，概率高于 0.99。

新手与专家：如果你是新手，可以把它想成一个会看视频的模型，要么标出某件事何时发生，要么从列表里选出正确答案。安装好包，按原样运行模型卡的脚本，再看打印出的结果。

往底层看，定位给每个时刻一个独立的 sigmoid 分数，所以可以标出多个时间段，而选择题则对选项做 softmax。默认的定位阈值是 0.25，传入 0.4 可以在一次调用里把它调高。示例以每秒 2 帧的速度采样，最多 2048 帧，上下文为 8192。

视频和问题交给处理器
以每秒 2 帧采样画面
模型直接给每个候选项打分
时间用 sigmoid，选项用 softmax
返回区间或答案

注意事项：

• License: Apache 2.0。
• Cost to run: 没有提到 API 密钥或付费服务。你需要一块 NVIDIA GPU，以及放得下约 8.9 GB 权重的内存。
• Data it reaches: 你传入的视频文件。示例会从 Hugging Face 下载一段演示视频，trust_remote_code 会运行仓库里的代码。
• Not for: 自由书写的答案，或没有 CUDA GPU 的机器，因为模型卡的示例针对的是 GPU。

Hugging Face 上的数据（2026年11月13日）

• 任务：feature extraction
• 框架：transformers
• 参数量：4.5B
• Weights: about 8.9 GB in BF16; about 2.2 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：8,518
• 点赞：31
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.5-4B
• Quantized versions: 1
• 标签：transformers, safetensors, videojev, feature-extraction, video, video-question-answering, temporal-grounding, decision-model

链接

• 模型：https://huggingface.co/ZhuYuhan/VideoJev-4B
• 文件：https://huggingface.co/ZhuYuhan/VideoJev-4B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ZhuYuhan/VideoJev-4B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。