MoEViE-L16-384

MoEViE-L16-384

Meta 的混合专家视觉编码器，无需额外训练就能把图片匹配到文字标签，这里是 384px 的 L/16 模型。授权用于非商业研究。

由 facebook 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：MoEViE-L16-384 是 MoE-ViE 的一个检查点，MoE-ViE 是 Meta 推出的用于图像和视频理解的视觉编码器系列。它经过训练，能把图像和文字联系起来，所以不用额外训练，就能把一张图归入你输入的标签。每个模块把一个始终开启的专家和一组路由专家配在一起，所以每个 token 只用到一小部分权重。

适合谁：适合研究或搭建视觉语言系统、并且有 CUDA 显卡的研究人员和工程师。

行业 | 谁在用 | 怎么用 | 例子
研究 | 计算机视觉研究人员 | 评估零样本的图像和视频理解 | 用输入的标签给一组图片打分
媒体 | 检索工程师 | 把文字查询和图片或视频片段匹配起来 | 用文字搜索一组照片
软件 | 机器学习工程师 | 在更大的系统里把编码器当作特征提取器 | 为下游模型提取图像和文字特征

要做商业产品或没有 CUDA 显卡的人可以跳过它，因为许可证是非商业的，而且内核需要 CUDA。

用在哪里：它在有 CUDA 显卡的机器上用 Python 运行。

• 带 open_clip 包的 Python，按项目仓库的说明设置
• 带 CUDA 显卡的电脑，因为专家内核在运行时用 Triton 编译
• 仓库里的演示脚本和零样本评估套件

用例 | 谁用 | 得到什么
零样本分类 | 研究人员 | 你提供的每个标签对应一个概率
文字与图片匹配 | 工程师 | 可用于检索比较的文字和图像特征
视频片段理解 | 研究人员 | 模型卡在 Kinetics-400 和 MSR-VTT 上报告的结果

如何设置：设置就是克隆项目仓库并安装它的依赖。

• 带 pip 的 Python
• 一张 CUDA 显卡
• 克隆到你电脑上的项目 GitHub 仓库
• 它的依赖文件里列出的包

1. 克隆项目的 GitHub 仓库并打开它的文件夹。
2. 从 requirements.txt 安装依赖包。
3. 运行下一节的 Python 脚本，它第一次会从 Hub 下载模型。
4. 如果你愿意，也可以用 hf 命令自己下载文件。

cd moe_vie
pip install -r requirements.txt

pip install -U huggingface_hub
hf download facebook/MoEViE-L16-384

如何使用：给模型一张图片和一组文字标签，它会为每个标签打印一个概率。模型卡的脚本对一张图片做的就是这件事。

import torch
from PIL import Image
from open_clip import create_model_and_transforms, get_tokenizer, image_to_device

MEAN, STD = (0.5, 0.5, 0.5), (0.5, 0.5, 0.5)

model, _, preprocess = create_model_and_transforms(
    "MoEViE-L16-384",
    pretrained=True,   # downloads from the Hub
    force_preprocess_cfg=dict(
        patch_size=16, size_range=(384, 384), center_crop=True, window_size=1
    ),
    image_mean=MEAN, image_std=STD,
)
model = model.cuda().eval()
tokenizer = get_tokenizer("MoEViE-L16-384")

labels = ["a diagram", "a dog", "a cat"]
packed, _ = preprocess.collate_fn([(preprocess(Image.open("cat.png").convert("RGB")), 0)])
packed = image_to_device(packed, "cuda", torch.float32, mean=MEAN, std=STD)
text = tokenizer(labels).cuda()

with torch.no_grad(), torch.autocast("cuda"):
    image_features = model.encode_image(packed, normalize=True)
    text_features = model.encode_text(text, normalize=True)
    probs = (model.logit_scale.exp() * image_features @ text_features.T).softmax(dim=-1)

print("Label probs:", probs)

工具 | 作用
create_model_and_transforms | 加载模型和对应的图像预处理
get_tokenizer | 为模型准备你的文字标签
encode_image | 把图像变成归一化的特征向量
encode_text | 把标签变成特征向量，用来和图像比较

示例：你让脚本处理一张叫 cat.png 的照片，并给它三个标签，a diagram、a dog 和 a cat。它会为每个标签打印一个概率。模型卡没有给出具体数字，但最高的应该落在与图片相符的标签上。

新手与专家：这个模型学会了把图片和文字联系起来。你给它一张图片和几个短语，它会告诉你哪个短语最贴切。第一件可以试的小事，就是用模型卡的脚本处理一张照片和三个标签。

它是由混合专家模块搭成的对比式视觉语言编码器。每个模块有一个始终开启的共享专家，加上一组路由专家，在 sigmoid 门上做逐 token 的 top-k 路由。L/16 模型宽度 1024，深度 24，32 个专家里有 4 个处于激活状态，其中包含共享专家，总参数 1.7B，激活参数 0.3B。

从一张图片和输入的标签开始
用 MoE 编码器编码图片
把标签编码成文字特征
缩放图像与文字的相似度
对各标签做 softmax

注意事项：下面的数字来自模型卡里三种尺寸的零样本结果。

Title: 按尺寸比较的 IN-1k 零样本 top-1 准确率
B/16，224px: 79.3 %
L/16，384px: 83.6 %
H/14，448px: 85.1 %

• 硬件：必须有 CUDA 显卡，因为专家内核在运行时用 Triton 编译。
• 规模：这个 L/16 检查点总参数 1.7B，激活参数 0.3B。
• License: CC BY-NC 4.0，用于非商业研究。
• Cost to run: 没有提到费用，不过你需要一张 CUDA 显卡。
• Data it reaches: 第一次使用时从 Hub 获取的模型文件，以及你提供的图片和标签。
• Not for: 商业用途，因为许可证把它限制在非商业研究。

Hugging Face 上的数据（2026年11月13日）

• 任务：zero shot image classification
• 框架：moe_vie
• 最近 30 天下载：37
• 点赞：7
• 许可证：cc-by-nc-4.0
• 标签：moe_vie, zero-shot-image-classification

链接

• 模型：https://huggingface.co/facebook/MoEViE-L16-384
• 文件：https://huggingface.co/facebook/MoEViE-L16-384/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download facebook/MoEViE-L16-384

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。