AI 研究技能与智能体

Drishya Tiny

udgamlabs · 工具包

把文字提示，或文字加首帧图片，变成 2 秒、256×256 的视频片段，使用 212M 参数的生成器。这是一个小型研究版本，最擅长海浪、火焰和下雪的天空。

LeVJEPA 1.5 Large

galilai-group · 工具包

把视频片段和单张图片编码成特征向量，用约 5,300 小时视频做自监督训练。这是面向研究者的视频编码器，采用非商业许可。

Uniformer_video_demo

Sense-X · 工具包

一个 Gradio 演示，用 Sense-X 的 UniFormer 视频模型处理视频片段并给出类别，附带三个示例视频。适合想在浏览器里体验视频分类的学生和开发者。

ModelScope Text To Video

shamedrank10 · 工具包

在 Gradio 演示里，用 ModelScope 文生视频扩散模型把英文文字提示词变成 256x256 的短视频。适合想试试文生视频的研究者和好奇的创作者。

VideoLLaMA2

lixin4ever · 工具包

一个基于 VideoLLaMA2 模型、用来理解视频等媒体内容的聊天应用。在浏览器里以 Gradio 应用在 ZeroGPU 上运行，适合想就视频片段提问的人。

MONET Retrieval

jasperai · 工具包

一个来自 jasperai 的 Gradio 应用，用 DINOv2、CLIP 或 SSCD 嵌入，从上传的图像或标题关键词里找出 MONET 数据集中最接近的结果。

Artwork Personalization Demo

avantiwhenever · 工具包

演示如何用 CLIP 图像嵌入而不是观看记录，来挑选每个片名展示哪张海报。这是一个静态的浏览器演示，灵感来自 Netflix 公开的工程文章，与 Netflix 无关联。

Speech analysis

audeering · 工具包

对一段语音录音运行 audEERING 的两个 wav2vec2 模型，一个判断情绪，一个估计年龄和性别，并自带四段示例音频。这是面向语音研究者的 Gradio 演示。非商用许可。

Vevo for Zero-shot VC, TTS, and More

amphion · 工具包

无需针对某个说话人训练，就能根据参考音频模仿声音，用于语音转换和文字转语音。这是 Amphion 项目里 Vevo 模型的演示，适合研究者和音频开发者。