Florence-2-large

Florence-2-large

把图片和一条简短的任务提示词配对，就能给图片写说明、找出物体、读出图中文字。适合用 transformers 在 Python 里跑视觉任务的开发者和研究人员。

由 microsoft 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Florence-2-large 是微软的视觉模型。你给它一张图片和一条简短的文字提示词，它就用文字回答，任务包括图片说明、目标检测和分割。这个版本是持续预训练的版本，上下文长度 4k，有 777M 参数。它的 OCR 输出现在用换行符分隔各行。

适合谁：如果你想用一个模型完成多种图像任务，只改提示词而不换模型，它很适合开发者和研究人员。

行业 | 谁在用 | 怎么用 | 例子
零售 | 商品目录工程师 | 给商品图片写说明并检测其中的物体 | 为一张商品照片起草简短描述
研究 | 计算机视觉研究人员 | 研究基于提示词的视觉模型并比较不同尺寸 | 在同样的图片上比较 large 和 base 模型
文档处理 | 应用开发者 | 对页面图片或截图运行 OCR 任务 | 逐行读出截图中的文字
无障碍 | 应用团队 | 用文字为看不见图片的人描述图片 | 为一张照片起草文字描述

如果你的工作只涉及文本，可以跳过它，因为这个模型总是处理配有任务提示词的图片。

用在哪里：

• 使用 transformers 库的 Python 脚本
• Windows、macOS 和 Linux
• 有 GPU 时模型卡的代码会自动选用，也可以用 CPU

用途 | 谁用 | 得到什么
给图片写说明 | 开发者 | 对图片的文字描述
检测物体 | 计算机视觉团队 | 以解析后的答案给出检测到的物体
读出图中文字 | 应用开发者 | 识别出的文字，各行之间有换行

如何设置：

• 装有 transformers、torch 和 Pillow 包的 Python
• 大约 1.6 GB 的磁盘空间，用来存放 F16 权重
• GPU 不是必需的，模型卡的代码会退回到 CPU

1. 安装模型卡代码导入的 Python 包。
2. 下载模型文件，或者让代码在第一次运行时自己去取。
3. 加载模型和处理器，并把 trust_remote_code 设为 True。

pip install -U huggingface_hub
hf download microsoft/Florence-2-large

如何使用：你选一个任务提示词，把它和图片一起交给处理器，再调用 generate。然后 post_process_generation 把原始文本变成该任务的解析结果。模型卡自己的例子用的是目标检测提示词。

device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32

model = AutoModelForCausalLM.from_pretrained("microsoft/Florence-2-large", torch_dtype=torch_dtype, trust_remote_code=True).to(device)
processor = AutoProcessor.from_pretrained("microsoft/Florence-2-large", trust_remote_code=True)

prompt = "<OD>"

inputs = processor(text=prompt, images=image, return_tensors="pt").to(device, torch_dtype)

generated_ids = model.generate(
    input_ids=inputs["input_ids"],
    pixel_values=inputs["pixel_values"],
    max_new_tokens=4096,
    num_beams=3,
    do_sample=False
)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=False)[0]

parsed_answer = processor.post_process_generation(generated_text, task="<OD>", image_size=(image.width, image.height))

print(parsed_answer)

工具 | 作用
AutoProcessor | 为模型准备文字提示词和图片
AutoModelForCausalLM | 加载模型，并把 trust_remote_code 设为 True
generate | 为提示词和图片生成答案的 token
post_process_generation | 把生成的文本变成该任务的解析结果

示例：你把一张图片和提示词 <OD> 交给模型。脚本解码生成的文本，并打印解析结果，其中包含模型在图片里找到的物体。其中的 image 变量是你自己加载的 PIL 图片。

新手与专家：可以把它看作一个用简短指令来操控的模型。第一次尝试时，可以对一张图片运行模型卡里的目标检测代码，然后看它打印什么。

如果你熟悉这个领域，要知道它采用序列到序列的结构，并在 FLD-5B 数据集上训练，模型卡给出的规模是 126 million 张图片上的 5.4 billion 条标注。模型卡给出这个版本的 COCO 目标检测 AP 为 39.8。这个版本只用了 0.1B 个样本做持续预训练。

选一个任务提示词
处理器打包提示词和图片
模型生成答案 token
后处理解析答案

注意事项：

• 训练说明：微软表示这次持续预训练用的样本不多，所以模型可能训练得不够好。
• 体积：777M 参数，F16 权重约 1.6 GB。
• 同系列：模型卡列出 base 和 large 两种尺寸，以及各自的微调版本。
• License: MIT。
• Cost to run: 未提及。
• Data it reaches: 它会从 Hugging Face 下载模型文件，模型卡的示例还会从网上取一张图片。
• Not for: 模型卡没有列出禁止的用途，但提醒这个版本可能训练不足。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：777M
• Weights: about 1.6 GB in F16; about 388 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：403,113
• 点赞：1,889
• 许可证：mit
• Quantized versions: 3
• Fine-tunes: 43
• 标签：transformers, pytorch, safetensors, florence2, image-text-to-text, vision

链接

• 模型：https://huggingface.co/microsoft/Florence-2-large
• 文件：https://huggingface.co/microsoft/Florence-2-large/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download microsoft/Florence-2-large

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。