来自 Hugging Face 的 AI 项目

Qwopus3.8-27B-Flash-GGUF

Jackrong · 工具包

为长时间的智能体任务缩短推理时间、降低成本，是 Qwen3.8-27B 微调模型的 GGUF 版本。适合在自己机器上跑智能体循环、想让每一轮更快的人。

MLX-Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-6bit

Jackrong · 工具包

以 MLX 格式、6 位运行一个只有 0.8B 的推理调优聊天小模型，转换自 Jackrong 的 Qwen3.5 蒸馏模型。适合想在 Mac 上用一个很小本地模型的人。

Qwen3.8-27B-NVFP4 Deployment Edition

IteraCompute · 工具包

用 vLLM 在一块 RTX 5090 上以 NVFP4 运行 Qwen3.8-27B，带校验和验证的下载、FP8 KV 缓存、工具调用和推理支持。适合在 Blackwell GPU 上自托管大模型的开发者。

Qwen3.6-35B-A3B-2Bit-GSQ

ISTA-DASLab · 工具包

用 GSQ（Gumbel-Softmax 量化）制作的 Qwen3.6-35B-A3B 的 2 位量化副本，用小得多的内存保留大部分推理和编程能力。需配合打过补丁的 vLLM 使用。

Agents-A1

InternScience · 工具包

作为一个 35B 开放权重语言模型，负责多步骤智能体工作：规划、搜索、调用工具和科学推理。适合要把模型接入会调用工具的智能体的开发者。

Granite-Docling-258M

ibm-granite · 工具包

把文档页面图像转换成结构化文本，支持公式、版面和关于页面元素的提问，是 IBM Research 的 258M 模型。适合用 Docling 构建文档转换的人。

SmolVLM2-2.2B-Instruct

HuggingFaceTB · 工具包

同时回答关于视频、图像和文字的问题，用一个 2.2B 模型，视频推理约需 5.2 GB GPU 显存。适合构建设备端视觉助手的开发者。

H2O-Lightning-4B

h2oai · 工具包

回答关于文档、工单、政策或对话及其配图的类型化决策问题，并给每个选项一个概率。适合想用小模型来判断记录的团队。

Tev-320B

gordonhu · 工具包

一个 320B 的混合专家智能体模型，只用一个 bash 工具完成较长的终端任务。用 1,170 个环境做强化学习训练，面向研究者，采用非商业许可。

gemma-4-31B-it-qat-q4_0-gguf

google · 工具包

把 Google 的 Gemma 4 31B 指令微调模型做成 4-bit GGUF 文件来运行，能读取文字和图片并用文字回答。适合有消费级显卡或工作站的开发者和爱好者。

Clef-GGUF

ggml-org · 工具包

Cloudflare 的 Clef 决策模型的 GGUF 文件，支持图像和文本输入。用 llama.cpp 工具提供服务，通过决策 API 路径调用。适合在自己机器上运行它的开发者。

KVARK Sparkle 1.0 (27B) FP8

Egzakta · 工具包

在 vLLM 上运行 FP8 格式的 27B 图文模型。和同规模的 Qwen 模型相比，它推理时用的词元少得多。适合自己托管模型的人。

Kvark-Sparkle-1.0-27B

Egzakta · 工具包

能处理图像和文字，推理时用的思考 token 比基座 Qwen3.8-27B 更少，据模型卡称，在相近的准确率下回答时间约减半。另有 FP8 和 GGUF 版本。

Rukopys-OCR-4B

ebinan92 · 工具包

从图片中读取乌克兰语手写文档，找出每个文字区域、标注类型，并以结构化 JSON 返回转写内容。这是用于手写数字化的开放 4B 视觉语言模型。

Surya OCR 2.5

datalab-to · 工具包

用 689M 参数的模型读取文档图像中的文字，还能找出文本行、版面块和阅读顺序。适合把扫描件和照片变成文字和 HTML 表格的开发者。

lift

datalab-to · 工具包

从 PDF 和图像中提取结构化数据。你提供一个 JSON 模式，它返回与之匹配的对象。这是 Datalab 的 9.7B 视觉语言模型，适合处理文档的开发者。

Qwen3.5-9B GGUF (ShapeLearn)

byteshape · 工具包

Qwen3.5-9B 的 GGUF 副本，这个模型能读文字和图像，用 ByteShape 的 ShapeLearn 压缩，面向 llama.cpp。有 GPU 和 CPU 的版本，大小约从 3 GB 到 5.7 GB。

Dolphin

ByteDance · 工具包

读取文档页面图像，按阅读顺序分两个阶段提取其中的文字、表格、公式和图表。一个紧凑的 398M 模型，适用于中文和英文文档。

UI-TARS-1.5-7B

ByteDance-Seed · 工具包

一个开放的多模态智能体模型，能读屏幕截图并决定在应用、浏览器、手机和游戏中做什么。适合构建电脑操作和图形界面自动化智能体的开发者。

Qwen3.5-4B GGUF

bartowski · 工具包

Qwen3.5-4B 的 imatrix GGUF 量化版本，这是一个带 MTP 层的 4.3B 图文模型，4 位文件约 3 GB。适合在本地运行小模型的人。