SmolVLM2-2.2B-Instruct

SmolVLM2-2.2B-Instruct

同时回答关于视频、图像和文字的问题，用一个 2.2B 模型，视频推理约需 5.2 GB GPU 显存。适合构建设备端视觉助手的开发者。

由 HuggingFaceTB 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：SmolVLM2-2.2B-Instruct 是 Hugging Face 推出的紧凑多模态模型。你给它文字加上视频、一张图或几张图，它就写出文字回复。它可以做图说、回答看到的内容、比较图片，并读出图像里的文字。它不能生成图像或视频。

适合谁：适合想用小模型描述视觉内容或对其提问、并且关心自己硬件内存占用的开发者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 应用开发者 | 给应用加入视觉问答 | 询问用户上传的照片里有什么
媒体 | 视频团队 | 自动描述或总结片段 | 起草一段录像的简短摘要
无障碍 | 工具开发者 | 把图像变成语音或文字描述 | 为屏幕阅读器给图片加图说
研究 | 多模态研究者 | 微调一个小型视觉语言模型 | 把它调整到某一类文档

如果你想生成图像或视频，可以跳过，因为模型卡说这个模型两者都不支持。

用在哪里：

• 使用 transformers 库和 CUDA GPU 的 Python，模型卡的设置就是这样
• 视频分析，需要 decord 包
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用例 | 谁用 | 得到什么
图像描述 | 开发者 | 对一张或多张图像的文字描述
视频问答 | 媒体团队 | 关于片段中发生了什么的文字回答
文字读取 | 文档工具 | 从图像中转写出的文字

如何设置：先准备好这些。

• 带 pip 的 Python 和 CUDA GPU
• 按模型卡要求安装 num2words 和 flash-attn 包以及较新版本的 transformers
• 视频输入需要 decord 包
• 视频约需 5.2 GB GPU 显存，F32 权重约 9 GB

1. 安装模型卡列出的包。
2. 在 GPU 上以 bfloat16 加载处理器和模型。
3. 用你的媒体和文字问题构建一条消息。
4. 应用聊天模板并生成。

pip install -U huggingface_hub
hf download HuggingFaceTB/SmolVLM2-2.2B-Instruct

如何使用：加载一次模型，然后传入把视频或图像和你的问题混在一起的消息。模型卡展示了图像和视频示例，在 generate 之后解码回复。这个例子要求详细描述一个视频文件。

from transformers import AutoProcessor, AutoModelForImageTextToText
import torch

model_path = "HuggingFaceTB/SmolVLM2-2.2B-Instruct"
processor = AutoProcessor.from_pretrained(model_path)
model = AutoModelForImageTextToText.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    _attn_implementation="flash_attention_2"
).to("cuda")

messages = [
    {
        "role": "user",
        "content": [
            {"type": "video", "path": "path_to_video.mp4"},
            {"type": "text", "text": "Describe this video in detail"}
        ]
    },
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device, dtype=torch.bfloat16)

generated_ids = model.generate(**inputs, do_sample=False, max_new_tokens=64)
generated_texts = processor.batch_decode(
    generated_ids,
    skip_special_tokens=True,
)

print(generated_texts[0])

工具 | 作用
AutoProcessor | 为模型准备文字、图像和视频
AutoModelForImageTextToText | 加载模型权重
apply_chat_template | 根据你的消息构建模型输入
model.generate | 写出回复，这里最多 64 个新 token

示例：把视频消息指向一个片段，要求详细描述。模型返回对发生内容的简短文字描述，模型卡的脚本把它限制在 64 个新 token，想要更多细节就调高上限。

新手与专家：如果你是新手，这个模型看图片或视频，用文字回答。先从一张图和“图里是什么”这个问题开始，再去试视频，因为视频需要额外的设置。

如果你熟悉这个领域，它的架构基于 Idefics3，是 SmolVLM 2.2B 的后继者。模型卡的视觉表格显示它在 Mathvista、MMMU、OCRBench 和 MMStar 上有提升，但在 AI2D 和 ChartQA 上得分比旧模型低。视频得分随规模上升：2.2B 在 Video-MME 上是 52.1，500M 是 42.2，256M 是 33.7。

视频或图像加上文字问题
处理器构建模型输入
SmolVLM2 同时读取媒体和文字
模型生成 token
解码出文字回答

注意事项：

• 语言：仅英语
• 规模：2.2B 参数，Safetensors 格式，系列里还有 500M 和 256M 的兄弟模型
• 微调：模型卡指向一个把它调整到某项任务的教程
• 社区：其他人做过 20 个量化版本和 48 个微调版本

Title: 模型卡中按模型大小的 Video-MME 分数
2.2B: 52.1 分
500M: 42.2 分
256M: 33.7 分

• License: Apache 2.0
• Cost to run: 未提及，来源没有列出 API 密钥、账号或付费服务
• Data it reaches: 你交给自己脚本的图像和视频，来源没有提到网络或账号访问
• Not for: 生成图像或视频，因为模型卡说两者都不支持

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：2.2B
• Weights: about 9 GB in F32; about 1.1 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：68,571
• 点赞：340
• 许可证：apache-2.0
• 语言：en
• 基于：HuggingFaceTB/SmolVLM-Instruct
• Quantized versions: 20
• Fine-tunes: 48
• 标签：transformers, safetensors, smolvlm, image-text-to-text, video-text-to-text, conversational

链接

• 模型：https://huggingface.co/HuggingFaceTB/SmolVLM2-2.2B-Instruct
• 文件：https://huggingface.co/HuggingFaceTB/SmolVLM2-2.2B-Instruct/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download HuggingFaceTB/SmolVLM2-2.2B-Instruct

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。