Qwen2.5-VL-7B-Instruct-GGUF

Qwen2.5-VL-7B-Instruct-GGUF

Unsloth 制作的 Qwen2.5-VL-7B-Instruct 的 GGUF 文件，这个视觉语言模型能读图像、图表、文档和长视频，还能输出坐标和结构化数据。适合在本地运行它的人。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Unsloth 制作的 Qwen2.5-VL-7B-Instruct 的 GGUF 文件，它是 Qwen 团队的 7B 指令微调视觉语言模型。它能同时读取图像、视频和文本。Hugging Face 记录列出 7.6B 参数，4 位下约 3.8 GB。

适合谁：想要一个能读文档、图表和屏幕的本地模型的开发者和分析师，以及需要从图像中提取结构化数据的团队。

行业 | 谁在用 | 怎么用 | 例子
金融和商业 | 运营团队 | 从发票、表单和表格中提取结构化字段 | 把一张发票扫描件变成结构化数据
软件 | 智能体开发者 | 让模型读屏幕并决定动作 | 指挥一项电脑或手机任务
媒体分析 | 视频分析师 | 在长视频里找到相关时刻 | 定位某个事件发生的片段

如果你只需要文本，可以跳过它，因为普通语言模型更轻。

用在哪里：

• llama.cpp 和其他能读 GGUF 文件的工具
• 装有 transformers 库的 Python，用于原始权重
• Windows、macOS 或 Linux，只要内存放得下文件

用途 | 适合谁 | 得到什么
文档和图表阅读 | 分析师 | 关于图像中文字、图表和版面的文字回答
物体定位 | 开发者 | 边界框或点，坐标以稳定的 JSON 给出
长视频理解 | 视频团队 | 关于超过一小时视频的回答，并指出相关片段

如何设置：你需要支持 GGUF 和视觉功能的运行时，以及 4 位下约 3.8 GB 的内存。这里用到的模型卡部分不包含运行步骤。

• Python 和 pip，用于下载工具
• 支持 GGUF 和这个视觉模型的运行时
• 存放你所选文件的磁盘空间

1. 下载 GGUF 文件。
2. 在支持 Qwen2.5-VL 的运行时里加载。
3. 发送一张图像和一个问题。

pip install -U huggingface_hub
hf download unsloth/Qwen2.5-VL-7B-Instruct-GGUF

如何使用：把图像或视频和问题一起发给模型。它能描述所见内容、读取文字和图表、定位物体，并为表单和表格返回结构化输出。

示例：你发一张发票的照片，要求把条目和总额以 JSON 给出。模型会返回从图像中读出的结构化字段。模型卡说明了这项能力，但这里用到的部分没有给出示例输出。

新手与专家：如果你是新手，先拿一张清晰的图表照片，问一个关于它的问题。先用单张图像，再去试视频。

对专家来说，模型卡描述了视频用的动态分辨率和帧率采样，以及时间对齐的位置编码。它还描述了一个用窗口注意力来加速的视觉编码器。这个系列有 3B、7B 和 72B 三种规格，这个是 7B 指令模型。

图像、视频或文本输入
带窗口注意力的视觉编码器
Qwen2.5 语言模型
文本或 JSON 输出

注意事项：

Title: 模型卡中列出的 MathVista testmini 分数
Qwen2.5-VL-7B: 68.2
MiniCPM-o 2.6: 60.6
InternVL2.5-8B: 58.3
Qwen2-VL-7B: 58.2
GPT-4o-mini: 52.4

• Results: 分数来自模型作者自己的表格
• Video: 模型卡称它能理解超过一小时的视频
• Language: 记录中列出英文
• License: Apache 2.0
• Cost to run: 没有提到 API 密钥或付费服务
• Data it reaches: 从 Hugging Face 下载文件，没有提到其他内容
• Not for: 这里用到的模型卡部分没有写明限制

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：7.6B
• Weights: about 3.8 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：285,067
• 点赞：253
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen2.5-VL-7B-Instruct
• Fine-tunes: 1
• 标签：transformers, gguf, qwen2_5_vl, image-text-to-text, multimodal, unsloth, conversational

链接

• 模型：https://huggingface.co/unsloth/Qwen2.5-VL-7B-Instruct-GGUF
• 文件：https://huggingface.co/unsloth/Qwen2.5-VL-7B-Instruct-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/Qwen2.5-VL-7B-Instruct-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。