Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
能读懂单张图片、多张图片和视频并用文字回答,参数量 1.3B,适合在手机和其他边缘设备上运行。适合想要小型视觉语言模型的开发者。
MiniCPM-V 4.6 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download openbmb/MiniCPM-V-4.6
MiniCPM-V 4.6 是 openbmb 推出的小型视觉语言模型,参数量 1.3B。你给它图片或视频再提一个问题,它用文字回答。它内部把 SigLIP2-400M 视觉编码器和 Qwen3.5-0.8B 语言模型配在一起,目标是在手机和类似设备上运行。
它适合想在小模型里获得图片和视频理解能力、并让它跑在手机或消费级 GPU 上的开发者和研究者。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 移动应用 | 构建端侧 AI 功能的开发者 | 用开源的适配代码把它部署到 iOS、Android 或 HarmonyOS | 应用团队加入一个在手机上运行的读图功能 |
| AI 研究 | 测试小型视觉语言模型的研究者 | 把它的基准测试得分与其他小模型对比 | 研究者在 OCRBench 上拿它和 Qwen3.5-0.8B 对比 |
| 应用机器学习 | 想为自己领域定制模型的团队 | 在消费级 GPU 上用 SWIFT 或 LLaMA-Factory 微调 | 团队针对自己那类图片做微调 |
想要不计体积的最大视觉模型的人可以跳过它,因为它的设计目标是保持小而快。
它首先面向手机,文件也可以在电脑上下载。
| Use case | Who | What they get back |
|---|---|---|
| 描述或询问一张图片 | 应用开发者 | 一段关于这张图的文字回答 |
| 比较多张图片 | 研究者 | 一段综合了所有图片的文字回答 |
| 理解一段视频 | 开发者 | 一段关于视频里发生了什么的文字回答 |
先准备好下面几样东西。
pip install -U huggingface_hub hf download openbmb/MiniCPM-V-4.6
你给模型一张图片或一段视频,用大白话问一个问题。模型卡列出了它能配合的框架,并说明有 GGUF、BNB、AWQ 和 GPTQ 格式的量化版本。
| Tool | What it does |
|---|---|
| vLLM 和 SGLang | 模型卡说这个模型已适配的推理框架 |
| llama.cpp 和 Ollama | 用于在本地运行的推理框架,模型卡里也有提到 |
| SWIFT 和 LLaMA-Factory | 用来把它定制到新领域和新任务的微调生态 |
| GGUF、BNB、AWQ、GPTQ | 模型卡提供量化版本的格式 |
你发一张手写便条的照片,问:“What does the text in this picture say?” 模型用文字回答。模型卡把 OCRBench 列为它达到 Qwen3.5 2B 水平的基准测试之一。
这是一个小型 AI,能看图片或视频,并用文字回复。你的第一小步是用上面的命令下载文件,然后在你熟悉的框架里试一张图片。
视觉部分用的是 SigLIP2-400M,来自 LLaVA-UHD v4 的技术把视觉编码的计算量减少了 50% 以上,token 吞吐量约为 Qwen3.5-0.8B 的 1.5 倍。它支持混合的 4x 和 16x 视觉 token 压缩,让你在准确度和速度之间做取舍。
能读懂单张图片、多张图片和视频并用文字回答,参数量 1.3B,适合在手机和其他边缘设备上运行。适合想要小型视觉语言模型的开发者。
由 openbmb 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:MiniCPM-V 4.6 是 openbmb 推出的小型视觉语言模型,参数量 1.3B。你给它图片或视频再提一个问题,它用文字回答。它内部把 SigLIP2-400M 视觉编码器和 Qwen3.5-0.8B 语言模型配在一起,目标是在手机和类似设备上运行。
适合谁:它适合想在小模型里获得图片和视频理解能力、并让它跑在手机或消费级 GPU 上的开发者和研究者。
Industry | Who uses it | How they use it | Example
移动应用 | 构建端侧 AI 功能的开发者 | 用开源的适配代码把它部署到 iOS、Android 或 HarmonyOS | 应用团队加入一个在手机上运行的读图功能
AI 研究 | 测试小型视觉语言模型的研究者 | 把它的基准测试得分与其他小模型对比 | 研究者在 OCRBench 上拿它和 Qwen3.5-0.8B 对比
应用机器学习 | 想为自己领域定制模型的团队 | 在消费级 GPU 上用 SWIFT 或 LLaMA-Factory 微调 | 团队针对自己那类图片做微调
想要不计体积的最大视觉模型的人可以跳过它,因为它的设计目标是保持小而快。
用在哪里:它首先面向手机,文件也可以在电脑上下载。
Use case | Who | What they get back
描述或询问一张图片 | 应用开发者 | 一段关于这张图的文字回答
比较多张图片 | 研究者 | 一段综合了所有图片的文字回答
理解一段视频 | 开发者 | 一段关于视频里发生了什么的文字回答
如何设置:先准备好下面几样东西。
pip install -U huggingface_hub
hf download openbmb/MiniCPM-V-4.6
如何使用:你给模型一张图片或一段视频,用大白话问一个问题。模型卡列出了它能配合的框架,并说明有 GGUF、BNB、AWQ 和 GPTQ 格式的量化版本。
Tool | What it does
vLLM 和 SGLang | 模型卡说这个模型已适配的推理框架
llama.cpp 和 Ollama | 用于在本地运行的推理框架,模型卡里也有提到
SWIFT 和 LLaMA-Factory | 用来把它定制到新领域和新任务的微调生态
GGUF、BNB、AWQ、GPTQ | 模型卡提供量化版本的格式
示例:你发一张手写便条的照片,问:“What does the text in this picture say?” 模型用文字回答。模型卡把 OCRBench 列为它达到 Qwen3.5 2B 水平的基准测试之一。
新手与专家:这是一个小型 AI,能看图片或视频,并用文字回复。你的第一小步是用上面的命令下载文件,然后在你熟悉的框架里试一张图片。
视觉部分用的是 SigLIP2-400M,来自 LLaVA-UHD v4 的技术把视觉编码的计算量减少了 50% 以上,token 吞吐量约为 Qwen3.5-0.8B 的 1.5 倍。它支持混合的 4x 和 16x 视觉 token 压缩,让你在准确度和速度之间做取舍。
图片或视频输入
SigLIP2-400M 对所见内容编码
视觉 token 被压缩 4 倍或 16 倍
Qwen3.5-0.8B 模型写出回答
注意事项:
Title: Artificial Analysis Intelligence Index 得分
MiniCPM-V 4.6: 13 分
Qwen3.5-0.8B: 10 分
Qwen3.5-0.8B-Thinking: 11 分
Ministral 3 3B: 11 分
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download openbmb/MiniCPM-V-4.6
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| MiniCPM-V 4.6 本页 | 187,584 | 1,253 | 1.3B | apache-2.0 | |
| MiniCPM-V-4.7-1B-gguf共有 lightweight · minicpm-v · multimodal | 168,636 | 114 | 1B | apache-2.0 | |
| MiniCPM-o 4.5共有 minicpm-v · multimodal · transformers | 170,793 | 1,571 | 9.4B | apache-2.0 | |
| Qwen2.5-VL-7B-Instruct共有 multimodal · image-text-to-text · conversational | 5,894,471 | 1,772 | 8.3B | apache-2.0 | |
| UI-TARS-1.5-7B共有 multimodal · image-text-to-text · conversational | 230,540 | 622 | 8.3B | apache-2.0 | |
| Molmo2-8B共有 multimodal · image-text-to-text · conversational | 45,213 | 201 | 8.7B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。