Florence-2-base

Florence-2-base

Microsoft 推出的小型视觉模型，通过更换文字提示词来做图像描述、目标检测和分割。适合需要用一个模型完成多种图像任务的开发者和研究者。

由 microsoft 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Florence-2-base 是 Microsoft Florence-2 视觉模型的 232 million 参数版本，已封装进 transformers 库。一个模型覆盖多种图像任务，你用一句简短的任务提示词来选择具体任务，比如图像描述、目标检测或分割。它在 FLD-5B 上训练，这个数据集有 5.4 billion 条标注，覆盖 126 million 张图像，可以零样本使用，也可以微调后使用。

适合谁：适合想用一个紧凑的视觉模型完成多种任务、而不是每种任务各用一个模型的开发者和研究者。它可以在 CPU 或 CUDA GPU 上运行。

Title: 谁会用它
Industry | Who uses it | How they use it | Example
无障碍 | 应用开发者 | 为图像起草文字描述 | 为一张照片要一段详细的描述
计算机视觉 | 视觉工程师 | 用提示词找出图片里的物体 | 对一幅街景运行目标检测提示词
研究 | 机器学习研究者 | 在自己的图像上微调小型基础模型 | 从基础尺寸出发，适配到新任务

如果你需要最强的准确度，可以跳过基础尺寸。模型卡还列出了更大的 0.77 billion 版本。

用在哪里：模型卡展示的是在 Python 里通过 transformers 库使用，有 GPU 就用 GPU，否则用 CPU。

• Python 加 transformers 库
• CUDA GPU 或普通 CPU
• Windows、macOS 或 Linux 加 Python

Title: 它能做的事
Use case | Who | What they get back
图像描述 | 开发者 | 简短、详细或更详细的描述
目标检测 | 视觉工程师 | 检测到的物体及其框
分割等任务 | 研究者 | 由提示词选定的其他任务的结果

如何设置：你需要带 pip 的 Python、transformers 库、PyTorch 和 Pillow。先下载模型文件，再在脚本里加载。

• 带 pip 的 Python
• transformers 库和 PyTorch
• Pillow，用来打开你自己的图像

1. 安装 Hugging Face 的下载工具。
2. 下载模型文件。
3. 在 Python 里加载模型和处理器。

pip install -U huggingface_hub
hf download microsoft/Florence-2-base

如何使用：加载模型和处理器，用 Pillow 打开一张图像并命名为变量 image，选一个任务提示词，然后生成。模型卡自己的示例会从网上下载一张汽车照片，这里省略了。模型在 GPU 上以 float16 运行。

from transformers import AutoProcessor, AutoModelForCausalLM
device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32
model = AutoModelForCausalLM.from_pretrained("microsoft/Florence-2-base", torch_dtype=torch_dtype, trust_remote_code=True).to(device)
processor = AutoProcessor.from_pretrained("microsoft/Florence-2-base", trust_remote_code=True)
prompt = "<OD>"
inputs = processor(text=prompt, images=image, return_tensors="pt").to(device, torch_dtype)
generated_ids = model.generate(
    input_ids=inputs["input_ids"],
    pixel_values=inputs["pixel_values"],
    max_new_tokens=1024,
    do_sample=False,
    num_beams=3,
)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=False)[0]
parsed_answer = processor.post_process_generation(generated_text, task="<OD>", image_size=(image.width, image.height))
print(parsed_answer)

模型卡随后定义了一个叫 run_example 的辅助函数，并通过更换提示词来切换任务。下面是它展示的描述类提示词。

prompt = "<CAPTION>"
run_example(prompt)
prompt = "<DETAILED_CAPTION>"
run_example(prompt)
prompt = "<MORE_DETAILED_CAPTION>"
run_example(prompt)

示例：你打开一张街景照片，设置目标检测提示词并运行脚本。你会得到解析好的物体及其位置。换成详细描述提示词后，会返回对同一张照片的文字描述。

新手与专家：如果你是新手，可以把它想成一个用简短指令来操控的模型。先用描述提示词处理一张你熟悉的照片，再读它返回的文字。

如果你熟悉这个领域，它是一个序列到序列模型，把每个任务都变成文本，所以同一套权重能服务多个任务。模型卡列出了四种尺寸，两个预训练版本和两个微调版本。示例设置了 trust_remote_code，所以请对照你的安全规定检查这个设置。

图像和任务提示词输入
处理器准备输入
模型生成文本
结果被解析成任务输出

注意事项：这个系列有两种尺寸，各有在 FLD-5B 上预训练的版本和在下游任务上微调的版本。

Title: 模型大小，单位为十亿参数
Florence-2-base: 0.23
Florence-2-large: 0.77
Florence-2-base-ft: 0.23
Florence-2-large-ft: 0.77

• License: MIT
• Cost to run: 未提及
• Data it reaches: 来自 Hugging Face 的模型文件，以及你加载的图像
• Not for: 需要更大的 0.77 billion 模型能力的工作

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：232M
• Weights: about 463 MB in F16; about 116 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：14,139,837
• 点赞：439
• 许可证：mit
• Quantized versions: 6
• Fine-tunes: 21
• 标签：transformers, pytorch, safetensors, florence2, image-text-to-text, vision

链接

• 模型：https://huggingface.co/microsoft/Florence-2-base
• 文件：https://huggingface.co/microsoft/Florence-2-base/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download microsoft/Florence-2-base

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。