AI 研究技能与智能体

Drishya Tiny

udgamlabs · 工具包

把文字提示，或文字加首帧图片，变成 2 秒、256×256 的视频片段，使用 212M 参数的生成器。这是一个小型研究版本，最擅长海浪、火焰和下雪的天空。

MOSS-VL-Realtime

OpenMOSS-Team · 工具包

能边看实时视频流边回答问题，画面没有新内容时保持沉默。适合做实时视频理解的开发者和研究人员。

TRIBE v2

facebook · 工具包

用一个映射到大脑皮层表面的多模态 Transformer，估计大脑对视频、音频和文本的 fMRI 反应。适合神经科学和 AI 研究者。

VideoJev-4B

ZhuYuhan · 工具包

找出视频里某件事发生的时间，并回答关于视频的选择题，方式是直接给候选项打分。基于 Qwen3.5-4B，适合视频研究者和开发者。

LeVJEPA 1.5 Large

galilai-group · 工具包

把视频片段和单张图片编码成特征向量，用约 5,300 小时视频做自监督训练。这是面向研究者的视频编码器，采用非商业许可。

Uniformer_video_demo

Sense-X · 工具包

一个 Gradio 演示，用 Sense-X 的 UniFormer 视频模型处理视频片段并给出类别，附带三个示例视频。适合想在浏览器里体验视频分类的学生和开发者。

Video Vision Transformer for CT

keras-io · 工具包

你可以在 Gradio 页面里试用一个处理 CT 类数据的视频视觉 Transformer，里面带有两个示例视频。适合对视频模型好奇的学生和开发者。

Hy-Nomas

tencent · 工具包

根据文字指令和镜头运动，一段一段地生成视频世界，你可以边生成边改变物体、风格和视角。适合创作者和研究者。

GTA world model

lucidml · 工具包

你按住按键时，从一张起始图像逐帧生成视频，并推流到浏览器。这是一个用 GTA5 素材训练的世界模型的权重和推理代码，适合研究者和机器学习工程师。

PAN 2

IFM · 工具包

MBZUAI 的 IFM 做的 29B 世界模型，把一个场景和描述的动作变成最长 20 秒的视频，让智能体可以预览结果，适合有大显卡的研究人员和智能体开发者。

Free-View Expressive Talking Head Video Editing

sky24h · 工具包

一个用于编辑说话头像视频的 Gradio 演示，如标题所示，支持自由视角和表情控制。适合想试用该方法或阅读其代码的研究者和开发者。

ModelScope Text To Video

shamedrank10 · 工具包

在 Gradio 演示里，用 ModelScope 文生视频扩散模型把英文文字提示词变成 256x256 的短视频。适合想试试文生视频的研究者和好奇的创作者。

VideoMaMa++

SammyLim · 工具包

一个随时间保持一致的视频抠像交互演示。SAM3 跟踪你点击或指名的物体，VideoMaMa++ 把跟踪结果变成 alpha 蒙版。非商业许可。

Open VLM Video Leaderboard

opencompass · 工具包

一个视觉语言模型在视频理解基准上得分的排行榜，有总排名，也有每个基准的详细榜单。适合挑选模型的研究人员和工程师。

VideoLLaMA2

lixin4ever · 工具包

一个基于 VideoLLaMA2 模型、用来理解视频等媒体内容的聊天应用。在浏览器里以 Gradio 应用在 ZeroGPU 上运行，适合想就视频片段提问的人。

JoyAI Video Edit

hugging-apps · 工具包

根据一句自然语言指令编辑视频，并在生成过程中按块把结果流式传回。是 JoyAI-Video-Edit 模型的演示，适合视频剪辑师和研究者。

4DAnyone Multi-View Video

hugging-apps · 工具包

把一段人像视频变成同一段表演的多机位同步视频。是 4DAnyone 模型的演示，适合制作 4D 重建输入的研究者。

CoWTracker

facebook · 工具包

跟踪上传视频里的每一个像素随时间的运动，并用彩色轨迹画出来。适合研究人员和想研究画面中物体如何运动的人。

MEMFOF Optical Flow

egorchistov · 工具包

为全高清视频估计光流，也就是帧与帧之间每个像素的运动，同时占用很少的 GPU 显存，带 Gradio 演示和多个训练好的模型。适合计算机视觉研究者和视频工程师。

ClaimRadar BG

DyrakArmy · 工具包

在保加利亚语文本、音频和视频中找出可核查的说法，在网上搜索来源，并给每个说法一个带证据的结论。适合想检验自己所读所听内容的记者、事实核查人员和读者。