Qwen3.5-4B-MTP-GGUF
unsloth · 工具包
Unsloth 制作的带多 token 预测的 Qwen3.5-4B 的 GGUF 文件,让 llama.cpp 使用推测解码,生成速度约快 1.5 到 2 倍。适合在本地运行小型多模态模型的人。
写代码、审代码用的提示词、编程智能体任务说明和工具包,花更少的 Token。
unsloth · 工具包
Unsloth 制作的带多 token 预测的 Qwen3.5-4B 的 GGUF 文件,让 llama.cpp 使用推测解码,生成速度约快 1.5 到 2 倍。适合在本地运行小型多模态模型的人。
microsoft · 工具包
紧凑的 56 亿参数模型,接收文字、图像和音频并用文字回复,上下文 128K token。适合想用一个小模型同时处理语音、视觉和文字的开发者。
Jundot · 工具包
zai-org 的 GLM-5.3-Flash 多模态混合专家模型的混合精度 MLX 副本,约每个权重 4.6 位,包含视觉编码器和多词元预测头。
ByteDance-Seed · 工具包
一个开放的多模态智能体模型,能读屏幕截图并决定在应用、浏览器、手机和游戏中做什么。适合构建电脑操作和图形界面自动化智能体的开发者。
unsloth · 工具包
用 Unsloth 的 4 比特 QAT GGUF 文件运行 Google 的 Gemma 4 31B 指令模型,自带用于推测解码的草稿模型,可在 llama.cpp 中加速。适合在本地部署大型多模态模型的人。
MultiverseComputingCAI · 工具包
Multiverse Computing 的 61.1B 多模态模型,是 NVIDIA Nemotron 3.5 Super 的压缩版本,接收文本、图像和视频,并保持约 12B 参数被激活。适合想用更少 GPU 通过 vLLM 部署大型开放模型的团队。
meituan-longcat · 工具包
面向长链条智能体任务的多模态混合专家模型,用于代码库开发、完整项目构建和创意设计,此为压缩的 W4A4 版本。适合拥有大型 GPU 算力的团队。
zai-org · 工具包
一个 320B 参数、激活 18B 的多模态模型,能读文字和图像,思考预算可调,用混合注意力设计处理长上下文。适合有像样 GPU 基础设施的团队。
thinkingmachines · 工具包
Inkling-Small 的 NVFP4 版本,一个多模态混合专家模型,接收文本、图像和音频并输出文本。适合构建智能体、编程助手和其他 AI 应用的开发者。
sensenova · 工具包
统一的多模态模型,用于生成和编辑图像,中英文文字清晰,支持原生 4K 输出,可通过框选和参考图控制。适合有大显存 GPU 的设计师和研究者。
mlx-community · 工具包
DeepSeek-V4.1-Flash-1017 的混合精度 MLX 版本,这是一个超大的多模态混合专家模型。适合拥有数百 GB 内存、想用 MLX 工具运行它的人。
litert-community · 工具包
为 LiteRT-LM 设备端运行打包的 740M 多模态 EmbeddingGemma 2。它把文字、代码、图片、视频和音频映射到同一个 768 维向量空间。
Qwen · 工具包
能读图像和文字的多模态聊天模型,总参数 35B,每次只启用其中 3B。适合用 Transformers、vLLM 等自己部署大模型的开发者。
nvidia · 工具包
NVIDIA 制作的 DeepSeek AI 的 DeepSeek-V4.1-Flash-1017 的 NVFP4 量化版本,一个面向 NVIDIA Blackwell GPU 的超大多模态混合专家模型。
microsoft · 工具包
Microsoft 推出的图像和视频多模态模型,像视频编码器存储视频那样读取视频,只保留变化的图块。适合做视频理解和流式处理的开发者和研究者。
vllm-sr · 工具包
对同一份文本、图片或视频输入一次回答多个问题,为每个答案给出概率,不生成文字。这是 vLLM Semantic Router 推出的 27B 多模态决策模型。
nvidia · 工具包
提供 NVIDIA 对 ZAI 的 GLM-5.3-Flash 做的 NVFP4 量化版,这是一个用于推理、编码和智能体任务的多模态模型。适合在 Blackwell GPU 上用 vLLM 或 SGLang 部署的开发者。
meituan-longcat · 工具包
把文字、图像和音频作为离散 token 统一处理的原生多模态模型,参数 74.3B。适合构建能看、能听、能生成内容的应用的研究人员和开发者。
thinkingmachines · 工具包
读取文字、图片和音频并写出文字,是一个庞大的开放多模态模型,适合编码助手、智能体和聊天机器人。适合有多 GPU 服务器或托管 API 的开发者。
Cloudflare · 工具包
把一个状态和一组有类型的问题变成决策,一次返回每个问题每个选项的概率,没有自由文本。这是 Cloudflare 的 9B 多模态模型,面向开发者。