TIPSv2 B/14

TIPSv2 B/14

把图片和文字变成相互匹配的嵌入，并提供空间补丁特征，用于零样本图像分类。这是 Google TIPSv2 的 Base 变体，适合视觉研究人员和开发者。

由 google 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：TIPSv2 B/14 是 Google TIPSv2 系列的 Base 变体，这个系列是对比式视觉语言模型，能把图像变成带空间细节、并与文字嵌入对齐的特征。它有 86M 视觉参数和 110M 文本参数。记录把它标为零样本图像分类。

适合谁：适合需要与文字对齐的图像特征来做分类、搜索或空间分析的研究人员和开发者。

行业 | 谁在用 | 怎么用 | 例子
研究 | 视觉研究人员 | 测试文字与图像的对齐以及空间特征 | 把补丁特征显示成彩色图像
软件 | 机器学习工程师 | 不经训练，按一组文字标签给图像分类 | 在 bus、car、dog 和 cat 之间选一个
搜索 | 检索开发者 | 比较文字嵌入和图像嵌入 | 用一句文字查询匹配一组图片

想要现成应用的人可以跳过它，因为这是一个需要你用代码接起来的编码器。

用在哪里：它通过 Hugging Face Transformers 在 Python 里运行，可以用 CPU 或 CUDA 显卡。

• 带 Transformers 的 Python，通过 AutoModel 加载模型
• CUDA 显卡，如果你用 model.cuda() 把模型移过去
• 项目的 GitHub 仓库，里面有更多用法和可视化，包括零样本分割
• Windows、macOS 或 Linux，配合 Python 下载文件

用例 | 谁用 | 得到什么
零样本分类 | 机器学习工程师 | 你自己列表里最匹配的标签
文字和图像嵌入 | 开发者 | 可以比较的 768 个数字组成的向量
空间特征图 | 研究人员 | 一个 32 乘 32 的补丁特征网格，可以画成彩色图

如何设置：你需要 Python 和几个软件包。

• 带 pip 的 Python
• transformers、torch、torchvision、sentencepiece 和 scikit-learn 这几个包
• 转换成 0 到 1 范围张量的图像
• 可选：一张 CUDA 显卡

1. 用 pip 安装这些包。
2. 用 AutoModel 加载模型，并把 trust_remote_code 设为 True。
3. 如果愿意，也可以用 hf 命令自己下载文件。

pip install transformers torch torchvision sentencepiece scikit-learn

pip install -U huggingface_hub
hf download google/tipsv2-b14

如何使用：加载模型，把图片转成张量，然后编码图像和你的文字。模型卡说要跳过 ImageNet 归一化，只用 ToTensor，所以数值保持在 0 到 1 之间。

from transformers import AutoModel

model = AutoModel.from_pretrained("google/tipsv2-b14", trust_remote_code=True)
model.eval()

把你自己的图片打开成名为 image 的 PIL 图像，然后按 448 乘 448 编码。模型卡的示例返回形状为 (1, 1, 768) 的全局嵌入，以及形状为 (1, 1024, 768) 的逐补丁特征。

from torchvision import transforms
from PIL import Image

transform = transforms.Compose([
    transforms.Resize((448, 448)),
    transforms.ToTensor(),
])

pixel_values = transform(image).unsqueeze(0)
out = model.encode_image(pixel_values)

每条文字查询得到一个嵌入，所以两条查询返回形状 (2, 768)。

text_emb = model.encode_text(["a photo of a bus", "a photo of a dog"])

做零样本分类时，把两边归一化，比较它们，取最接近的标签。

import torch.nn.functional as F

classes = ["bus", "car", "dog", "cat"]
cls = F.normalize(out.cls_token[:, 0, :], dim=-1)
text_emb = F.normalize(model.encode_text(classes), dim=-1)
similarity = cls @ text_emb.T
print(classes[similarity.argmax()])

在 GPU 上，把模型和输入一起移过去。

model = model.cuda()
out = model.encode_image(pixel_values.cuda())
text_emb = model.encode_text(["a city"])

工具 | 作用
encode_image | 在 cls_token 里返回全局图像嵌入，在 patch_tokens 里返回逐补丁特征
encode_text | 为每条文字查询返回一个 768 个数字的嵌入
PCA on patch_tokens | 把空间特征变成彩色图片，就像模型卡的示例那样

示例：你给它一张照片和标签 bus、car、dog 和 cat。它把两边的嵌入归一化后做比较，并打印相似度最高的标签，模型卡自己的示例里这个标签是 bus。

新手与专家：这个模型给一张图片和一句话各自一串数字，这样两者就能比较。两串数字接近时，这句话就和图片相符。第一件可以试的小事，就是加载模型，把一张照片和几个标签比一比。

视觉部分是 12 层的 ViT 编码器，文本部分是 12 层的 Transformer，嵌入维度是 768。补丁大小是 14 乘 14 像素。文字经过 SentencePiece 分词器处理，转成小写，最多 64 个 token，图像可以是任意分辨率。

把图像转成 0 到 1 的张量
用 encode_image 编码
用 encode_text 编码你的标签
把两边归一化后比较
选出最接近的标签

注意事项：这个系列有四种尺寸，这份模型卡介绍的是最小的 Base 变体。

变体 | 视觉参数 | 文本参数 | 嵌入维度
B/14 | 86M | 110M | 768
L/14 | 303M | 184M | 1024
SO400m/14 | 412M | 448M | 1152
g/14 | 1.1B | 389M | 1536

• 远程代码：加载那一行把 trust_remote_code 设为 True，这会让仓库自带的代码运行。
• 输入：图像是 0 到 1 范围的张量，文字限制在 64 个 token 以内。
• License: Apache 2.0。
• Cost to run: 没有提到费用。
• Data it reaches: 你加载的图片和来自 Hub 的模型文件。模型卡自己的示例还会通过网络获取一张示例图片。

Hugging Face 上的数据（2026年11月15日）

• 任务：zero shot image classification
• 框架：transformers
• 参数量：196M
• Weights: about 784 MB in F32; about 98 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：8,629
• 点赞：137
• 许可证：apache-2.0
• Quantized versions: 1
• Fine-tunes: 5
• 标签：transformers, safetensors, tipsv2, feature-extraction, vision, image-text, contrastive-learning, zero-shot, zero-shot-image-classification

链接

• 模型：https://huggingface.co/google/tipsv2-b14
• 文件：https://huggingface.co/google/tipsv2-b14/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download google/tipsv2-b14

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。