MEMFOF Optical Flow

MEMFOF Optical Flow

为全高清视频估计光流，也就是帧与帧之间每个像素的运动，同时占用很少的 GPU 显存，带 Gradio 演示和多个训练好的模型。适合计算机视觉研究者和视频工程师。

由 egorchistov 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：MEMFOF 是一种估计光流的方法，光流就是每个像素从一帧到下一帧的运动。它面向全高清视频，目标是在保持高精度的同时占用很少的显存。这个 Space 是它的演示，代码来自一篇在 ICCV 2025 上展示的论文。

适合谁：适合需要为高分辨率素材估计运动、又没有特别大 GPU 的计算机视觉研究者和视频工程师。

Industry | Who uses it | How they use it | Example
计算机视觉 | 研究者 | 在视频上估计光流并比较模型 | 研究者在同一段序列上运行两个模型版本。
视频工程 | 视频处理团队 | 获取全高清片段的运动数据 | 工程师测试一个片段，看光流结果。
机器人与驾驶 | 感知工程师 | 试用为真实场景和驾驶场景训练的模型 | 工程师试用真实视频模型和 KITTI 模型。
教育 | 学生 | 学习一篇最新的光流论文及其可运行的代码 | 学生阅读 core 文件夹里的代码和演示笔记本。

如果你需要现成的视频特效，可以跳过它，因为这个项目输出的是光流预测，而不是剪辑好的视频。

用在哪里：

• 网页浏览器，通过 Hugging Face 上的 Space 页面
• Windows、macOS 或 Linux 上的本地副本，使用 Python 和 CUDA GPU
• 仓库里附带的演示笔记本

Use case | Who | What they get back
预测一段视频的光流 | 研究者 | 你给它的序列的光流结果
比较模型版本 | 工程师 | 针对真实视频、KITTI、Sintel 或 Spring 调整过的版本的结果
训练或评估 | 研究者 | 仓库里的 train.sh、eval.sh 和 submission.sh 脚本

如何设置：

• Python 3.10 或更新版本、PyTorch 2.5.0 或更新版本和 CUDA 12.6 或更新版本，按 README 的说明
• requirements.txt 里列出的包

1. 安装 huggingface_hub 包。
2. 把这个 Space 下载到名为 optical-flow-MEMFOF 的本地文件夹。
3. 进入这个文件夹。
4. 安装 5.34.2 版本的 gradio。
5. 安装 requirements.txt 里列出的包。
6. 启动演示。

pip install -U huggingface_hub
hf download egorchistov/optical-flow-MEMFOF --repo-type space --local-dir optical-flow-MEMFOF
cd optical-flow-MEMFOF
pip install gradio==5.34.2
pip install -r requirements.txt
python demo.py

如何使用：打开 Space 页面，或者用下面的命令在本地启动演示。给它一段视频序列，它会生成光流预测。对于真实场景的视频，README 更推荐 MEMFOF-Tartan-T-TSKH 模型。

python demo.py

Tool | What it does
demo.py | 托管 Gradio 演示页面
demo.ipynb | 展示示例用法的笔记本
MEMFOF-Tartan-T-TSKH | README 推荐用于真实视频的模型
train.sh, eval.sh and submission.sh | 用于训练、评估和提交结果的脚本

示例：你打开演示，给它一小段视频序列。它返回这些帧的预测光流。你可以切换到 README 推荐用于真实素材的模型，并比较输出。

新手与专家：如果你是新手，光流显示的是两帧之间东西往哪里动。打开 Space 页面，用默认模型试一小段序列。

如果你熟悉这个领域，这个方法在高分辨率下训练，并使用多帧来保持低显存。README 列出了六个训练好的模型，包括针对 KITTI、Sintel 和 Spring 调整过的版本，并为这些基准显示了徽章。

给它一段视频序列
选择一个 MEMFOF 模型
模型估计帧与帧之间的运动
光流结果出现

注意事项：

• README 更推荐 MEMFOF-Tartan-T-TSKH 用于真实场景的视频
• 训练需要你自己下载几个公开数据集
• README 要求本地使用 CUDA GPU 环境
• License: bsd-3-clause
• Cost to run: 未提及
• Data it reaches: 你给它的视频，以及它列出的模型文件

Hugging Face 上的数据（2026年11月13日）

• 点赞：8
• 构建方式：gradio
• 许可证：bsd-3-clause

链接

• Space：https://huggingface.co/spaces/egorchistov/optical-flow-MEMFOF
• 文件：https://huggingface.co/spaces/egorchistov/optical-flow-MEMFOF/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。