AI 智能体技能、规则与提示词工具包

Qwen3.5-4B-MTP-GGUF

unsloth · 工具包

Unsloth 制作的带多 token 预测的 Qwen3.5-4B 的 GGUF 文件，让 llama.cpp 使用推测解码，生成速度约快 1.5 到 2 倍。适合在本地运行小型多模态模型的人。

Phi-4-multimodal-instruct

microsoft · 工具包

紧凑的 56 亿参数模型，接收文字、图像和音频并用文字回复，上下文 128K token。适合想用一个小模型同时处理语音、视觉和文字的开发者。

GLM-5.3-Flash-oQ4e-mtp

Jundot · 工具包

zai-org 的 GLM-5.3-Flash 多模态混合专家模型的混合精度 MLX 副本，约每个权重 4.6 位，包含视觉编码器和多词元预测头。

AIpparel

georgeNakayama · 工具包

保存 AIpparel 的权重和数据集，这是一个面向数字服装、处理缝纫版型的多模态基础模型。适合做服装生成和编辑的研究人员。

TRIBE v2

facebook · 工具包

用一个映射到大脑皮层表面的多模态 Transformer，估计大脑对视频、音频和文本的 fMRI 反应。适合神经科学和 AI 研究者。

UI-TARS-1.5-7B

ByteDance-Seed · 工具包

一个开放的多模态智能体模型，能读屏幕截图并决定在应用、浏览器、手机和游戏中做什么。适合构建电脑操作和图形界面自动化智能体的开发者。

gemma-4-31B-it-qat-GGUF

unsloth · 工具包

用 Unsloth 的 4 比特 QAT GGUF 文件运行 Google 的 Gemma 4 31B 指令模型，自带用于推测解码的草稿模型，可在 llama.cpp 中加速。适合在本地部署大型多模态模型的人。

Comet 60B

MultiverseComputingCAI · 工具包

Multiverse Computing 的 61.1B 多模态模型，是 NVIDIA Nemotron 3.5 Super 的压缩版本，接收文本、图像和视频，并保持约 12B 参数被激活。适合想用更少 GPU 通过 vLLM 部署大型开放模型的团队。

LongCat-2.5-W4A4

meituan-longcat · 工具包

面向长链条智能体任务的多模态混合专家模型，用于代码库开发、完整项目构建和创意设计，此为压缩的 W4A4 版本。适合拥有大型 GPU 算力的团队。

GLM-5.3-Flash-BF16

zai-org · 工具包

一个 320B 参数、激活 18B 的多模态模型，能读文字和图像，思考预算可调，用混合注意力设计处理长上下文。适合有像样 GPU 基础设施的团队。

Inkling-Small-NVFP4

thinkingmachines · 工具包

Inkling-Small 的 NVFP4 版本，一个多模态混合专家模型，接收文本、图像和音频并输出文本。适合构建智能体、编程助手和其他 AI 应用的开发者。

SenseNova-U1.5-8B-MoT

sensenova · 工具包

统一的多模态模型，用于生成和编辑图像，中英文文字清晰，支持原生 4K 输出，可通过框选和参考图控制。适合有大显存 GPU 的设计师和研究者。

DeepSeek-V4.1-Flash-1017-oQ4e-mtp

mlx-community · 工具包

DeepSeek-V4.1-Flash-1017 的混合精度 MLX 版本，这是一个超大的多模态混合专家模型。适合拥有数百 GB 内存、想用 MLX 工具运行它的人。

embeddinggemma-2-740m-litert-lm

litert-community · 工具包

为 LiteRT-LM 设备端运行打包的 740M 多模态 EmbeddingGemma 2。它把文字、代码、图片、视频和音频映射到同一个 768 维向量空间。

Qwen3.5-35B-A3B

Qwen · 工具包

能读图像和文字的多模态聊天模型，总参数 35B，每次只启用其中 3B。适合用 Transformers、vLLM 等自己部署大模型的开发者。

DeepSeek-V4.1-Flash-1017-NVFP4

nvidia · 工具包

NVIDIA 制作的 DeepSeek AI 的 DeepSeek-V4.1-Flash-1017 的 NVFP4 量化版本，一个面向 NVIDIA Blackwell GPU 的超大多模态混合专家模型。

Mage-VL

microsoft · 工具包

Microsoft 推出的图像和视频多模态模型，像视频编码器存储视频那样读取视频，只保留变化的图块。适合做视频理解和流式处理的开发者和研究者。

d3-ultra

vllm-sr · 工具包

对同一份文本、图片或视频输入一次回答多个问题，为每个答案给出概率，不生成文字。这是 vLLM Semantic Router 推出的 27B 多模态决策模型。

GLM-5.3-Flash-NVFP4

nvidia · 工具包

提供 NVIDIA 对 ZAI 的 GLM-5.3-Flash 做的 NVFP4 量化版，这是一个用于推理、编码和智能体任务的多模态模型。适合在 Blackwell GPU 上用 vLLM 或 SGLang 部署的开发者。

LongCat-Next

meituan-longcat · 工具包

把文字、图像和音频作为离散 token 统一处理的原生多模态模型，参数 74.3B。适合构建能看、能听、能生成内容的应用的研究人员和开发者。

Inkling

thinkingmachines · 工具包

读取文字、图片和音频并写出文字，是一个庞大的开放多模态模型，适合编码助手、智能体和聊天机器人。适合有多 GPU 服务器或托管 API 的开发者。

Clef-Flash

Cloudflare · 工具包

把一个状态和一组有类型的问题变成决策，一次返回每个问题每个选项的概率，没有自由文本。这是 Cloudflare 的 9B 多模态模型，面向开发者。

Clef

Cloudflare · 工具包

Cloudflare 的 27B 多模态模型，针对文本、JSON、图片或视频输入，为带类型的问题给出每个允许答案的分数，而不是写出自由文本。

Qwen3.5-0.8B

Qwen · 工具包

读取图片和文字并用文字回复，来自 Qwen 的 873M 小模型。适合想用轻量多模态基础模型做原型或微调的开发者和研究者。

Nex-N2.6

nex-agi · 工具包

作为多模态智能体模型处理计算机操作、编程和长时间的工具任务，基于 GLM-5.3-Flash，FP8 权重约 321B 参数。适合能自行托管大模型的团队。

GLM-5.3-Flash

zai-org · 工具包

zai-org 的 GLM-5 系列原生多模态模型，总参数 320B、激活 18B，采用稀疏与线性注意力的混合设计，并能控制思考预算。适合有大型 GPU 服务器的团队。

DeepSeek-V4.1-Flash

deepseek-ai · 工具包

DeepSeek 的多模态混合专家模型，骨干有 552B 参数，上下文长达一百万个 token，专为降低长输入智能体工作的 KV 缓存成本而设计。适合有大型 GPU 集群的团队。

LongCat-2.5

meituan-longcat · 工具包

美团 LongCat 的多模态混合专家模型，面向长时间的智能体任务和编程，总参数约 1.6 万亿，每个 token 激活 480 亿。适合有大型 GPU 集群的实验室和团队。

Chat With Janus-Pro-7B

deepseek-ai · 工具包

和 DeepSeek 的 Janus-Pro-7B 模型聊天，它既能理解图片也能生成图片，生成的图片会做 2 倍放大。适合想在浏览器里试用多模态模型的人。

Open VLM Leaderboard

opencompass · 工具包

展示用 VLMEvalKit 工具包收集的视觉语言模型得分排行榜，有总榜，也有每个基准的单独表格。适合比较多模态模型的研究者和工程师。

MiniCPM-V 端侧多模态模型

OpenBMB · 工具包

OpenBMB 的开源多模态模型。MiniCPM-V 4.7 能读图片、文档和视频，MiniCPM-o 4.5 还能听、能说。安装说明涵盖 Transformers、Ollama、llama.cpp、vLLM、SGLang、托管 API 和手机应用。