ReFoCo

ReFoCo

一篇研究论文的三种规模的预训练视觉 Transformer 检查点，论文研究如何训练注意力头去关注图像区域。适合提取图像特征和复现论文的研究人员。

由 yuji-nozawa 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：ReFoCo 是随一篇研究论文发布的一组预训练视觉 Transformer 检查点，论文研究注意力头如何学会关注图像中的空间区域。页面列出了三种带寄存器词元的规模。它们是为配合作者自己的代码而设计的，任务是图像特征提取。

适合谁：它适合研究视觉 Transformer，或者想用官方权重复现论文结果的研究人员和学生。

行业 | 谁在用 | 怎么用 | 例子
学术研究 | 计算机视觉研究人员 | 用发布的权重复现论文的实验 | 检查报告中的注意力头行为
机器学习 | 模型分析人员 | 研究训练好的模型里注意力头如何分工 | 对比 base 和 large 检查点
教育 | 研究生 | 从官方论文发布中学习 | 加载一个检查点来查看它的各层
软件开发 | 测试骨干网络的开发者 | 把这些检查点当作图像特征提取器试用 | 从一批照片里提取特征

如果你想要开箱即用的图像分类器或在线演示，可以跳过它，因为这个页面只放研究用的检查点。

用在哪里：

• Windows、macOS 或 Linux 上的 Python，配合作者代码仓库里的代码
• 加载 PyTorch 检查点文件的研究笔记本和脚本
• 论文自己的实验设置，页面中有指向它的说明

用途 | 适合谁 | 得到什么
复现论文 | 研究人员 | 可以配合作者代码运行的预训练模型
提取图像特征 | 开发者 | 来自视觉 Transformer 骨干网络的特征向量
比较模型规模 | 分析人员 | 从 base 到 giant 的三个检查点

如何设置：

• 你电脑上的 Python
• 作者的代码，页面说这些模型就是为它而做的
• 存放你所选检查点的磁盘空间

1. 用 pip 安装 Hugging Face hub 软件包。
2. 下载仓库文件，其中包含三个检查点文件。
3. 按作者代码的说明加载一个检查点。

pip install -U huggingface_hub
hf download yuji-nozawa/ReFoCo

如何使用：页面没有给出自己的运行命令。你从三个检查点文件里挑一个，用作者的代码加载，然后用这个模型提取图像特征。

示例：研究人员下载仓库，选择 base 规模的检查点。他们用作者的代码加载它，在几张图片上运行，得到特征向量。页面没有展示示例输出。

新手与专家：如果你是新手，先从最小的 base 检查点开始，并先读论文，这样你才知道这些注意力头是要学什么。

如果你熟悉这个领域：这些检查点是带寄存器词元的 ViT-B/16、ViT-L/16 和 ViT-g/16，用论文提出的空间注意力头分工方法训练。页面没有给出准确率表，所以结果要去看论文。

下载仓库文件
选择检查点规模
用作者的代码加载
让图像通过模型
使用提取出的特征

注意事项：

• Limits: 页面只列出了检查点文件和一篇论文，没有用法代码或结果。
• Support: 作者说没有正式支持，也不保证修复缺陷。
• Scope: 这些模型是为作者的代码准备的，不是通用的即插即用模型。
• License: Apache 2.0。
• Cost to run: 未提及。
• Data it reaches: 它把检查点文件复制到你的电脑，并读取你给它的图片。

Hugging Face 上的数据（2026年11月14日）

• 任务：image feature extraction
• 最近 30 天下载：0
• 点赞：2
• 许可证：apache-2.0
• 标签：image-feature-extraction

链接

• 模型：https://huggingface.co/yuji-nozawa/ReFoCo
• 文件：https://huggingface.co/yuji-nozawa/ReFoCo/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download yuji-nozawa/ReFoCo

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。