来自 Hugging Face 的 AI 项目

Qwopus3.8-27B-Flash-GGUF

Jackrong · 工具包

为长时间的智能体任务缩短推理时间、降低成本，是 Qwen3.8-27B 微调模型的 GGUF 版本。适合在自己机器上跑智能体循环、想让每一轮更快的人。

Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

Jackrong · 工具包

在 think 标签里一步步思考问题，是用推理链微调的 4B Qwen3.5 模型，以 GGUF 打包。适合想在自己电脑上运行小型推理模型的人。

MLX-Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-6bit

Jackrong · 工具包

以 MLX 格式、6 位运行一个只有 0.8B 的推理调优聊天小模型，转换自 Jackrong 的 Qwen3.5 蒸馏模型。适合想在 Mac 上用一个很小本地模型的人。

Qwen3.8-27B-NVFP4 Deployment Edition

IteraCompute · 工具包

用 vLLM 在一块 RTX 5090 上以 NVFP4 运行 Qwen3.8-27B，带校验和验证的下载、FP8 KV 缓存、工具调用和推理支持。适合在 Blackwell GPU 上自托管大模型的开发者。

Qwen3.6-35B-A3B-2Bit-GSQ

ISTA-DASLab · 工具包

用 GSQ（Gumbel-Softmax 量化）制作的 Qwen3.6-35B-A3B 的 2 位量化副本，用小得多的内存保留大部分推理和编程能力。需配合打过补丁的 vLLM 使用。

Agents-A1

InternScience · 工具包

作为一个 35B 开放权重语言模型，负责多步骤智能体工作：规划、搜索、调用工具和科学推理。适合要把模型接入会调用工具的智能体的开发者。

K2-Horizon-3.7B-GGUF

IFM · 工具包

3.7B 参数 K2-Horizon 文本模型的 GGUF 文件，提供从 BF16 到 Q4_K_M 的六种精度，用于 llama.cpp 运行。模型有 512K token 的上下文窗口。

K2-Horizon-0.9B

IFM · 工具包

作为一个紧凑的开源推理模型，回答数学、编程和科学问题，一次最多能读取 128K 个 token。由 IFM 制作，适合想要数据和代码都公开的小模型的人。

ibnsina-1.5b

ibnsina-llm · 工具包

一个小型波斯语语言模型，可离线写作、摘要、翻译和聊天，主要用波斯语文本从零训练。可通过 ollama、LM Studio 或 llama.cpp 在笔记本上运行。

granite-4.2-8b GGUF

ibm-granite · 工具包

提供 IBM Granite 4.2 8B 模型的多种量化级别 GGUF 副本，可直接用于 llama.cpp。适合想在本地运行该模型、并从基础模型卡了解详情的人。

Granite-4.2-3B (GGUF)

ibm-granite · 工具包

把 IBM 的 Granite 4.2 3B 文本模型打包成 GGUF 文件，供本地使用。4 位权重估计约 1.8 GB，适合想要采用 Apache 2.0 许可的小型模型的人。

Granite-4.0-H-350M

ibm-granite · 工具包

用 IBM 推出的 340M 参数指令模型处理摘要、分类、抽取、问答、RAG、代码任务和工具调用，支持 12 种语言。适合需要紧凑设备端模型的开发者。

ALLaM-7B-Instruct-preview

humain-ai · 工具包

用阿拉伯语和英语回答问题、遵循指令。这是沙特数据与人工智能管理局（SDAIA）下属国家人工智能中心从零训练的 7B 模型，适合构建阿拉伯语工具的开发者和研究人员。

SmolVLM2-2.2B-Instruct

HuggingFaceTB · 工具包

同时回答关于视频、图像和文字的问题，用一个 2.2B 模型，视频推理约需 5.2 GB GPU 显存。适合构建设备端视觉助手的开发者。

zephyr-7b-beta

HuggingFaceH4 · 工具包

作为乐于助人的助手进行对话，由 Mistral-7B 经直接偏好优化调教而成。适合想自己运行小型开源聊天模型的开发者和爱好者。

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

hesamation · 工具包

以四种量化大小的 GGUF 文件在你自己的机器上运行推理微调的 Qwen3.6-35B-A3B，训练数据是 Claude Opus 4.6 风格的推理数据。适合想在本地获得逐步推理回答的人。

H2O-Lightning-4B

h2oai · 工具包

回答关于文档、工单、政策或对话及其配图的类型化决策问题，并给每个选项一个概率。适合想用小模型来判断记录的团队。

Tev-320B

gordonhu · 工具包

一个 320B 的混合专家智能体模型，只用一个 bash 工具完成较长的终端任务。用 1,170 个环境做强化学习训练，面向研究者，采用非商业许可。

gemma-4-31B-it-qat-q4_0-gguf

google · 工具包

把 Google 的 Gemma 4 31B 指令微调模型做成 4-bit GGUF 文件来运行，能读取文字和图片并用文字回答。适合有消费级显卡或工作站的开发者和爱好者。

Qwen2.5-Coder-1.5B Q8_0 GGUF

ggml-org · 工具包

通过 llama.cpp 在你自己的机器上运行 Qwen2.5-Coder 1.5B 的 Q8_0 GGUF 文件，可以用命令行，也可以做成本地服务器。适合想用小型代码模型的开发者。

Clef-GGUF

ggml-org · 工具包

Cloudflare 的 Clef 决策模型的 GGUF 文件，支持图像和文本输入。用 llama.cpp 工具提供服务，通过决策 API 路径调用。适合在自己机器上运行它的开发者。

KVARK Sparkle 1.0 (27B) FP8

Egzakta · 工具包

在 vLLM 上运行 FP8 格式的 27B 图文模型。和同规模的 Qwen 模型相比，它推理时用的词元少得多。适合自己托管模型的人。

Kvark-Sparkle-1.0-27B

Egzakta · 工具包

能处理图像和文字，推理时用的思考 token 比基座 Qwen3.8-27B 更少，据模型卡称，在相近的准确率下回答时间约减半。另有 FP8 和 GGUF 版本。

Rukopys-OCR-4B

ebinan92 · 工具包

从图片中读取乌克兰语手写文档，找出每个文字区域、标注类型，并以结构化 JSON 返回转写内容。这是用于手写数字化的开放 4B 视觉语言模型。

theOG-50M

DrunkkToys · 工具包

根据一段英文说明写出 Python 函数。这是在一台笔记本上从零训练的 50M 参数代码模型，小到可以在 Ollama、LM Studio 或 llama.cpp 里离线运行。

Maple-Preview

deepgrove · 工具包

一个 20B 的三值权重推理模型，每个词元激活约 1B 参数。为快速的设备端使用而设计，检查点为 5.31 GB，上下文为 131,072 词元。这是一个预览版，在智能体任务上较弱。

Kiyo-65M

DedeProGames · 工具包

用一个只有 65M 参数的仅解码器小模型续写英文文本，它在 80B 个词元上训练。适合想研究、比较小型 transformers 模型或拿它测试代码的学习者和研究者。

Gemma-3-12b-it-MAX-HORROR-Imatrix-GGUF

DavidAU · 工具包

写带有恐怖色彩的小说。这是 Gemma 3 12B instruct 的 GGUF 版本，用恐怖模型生成的 imatrix 量化，适合在本地运行模型的创作者。

Surya OCR 2.5

datalab-to · 工具包

用 689M 参数的模型读取文档图像中的文字，还能找出文本行、版面块和阅读顺序。适合把扫描件和照片变成文字和 HTML 表格的开发者。

lift

datalab-to · 工具包

从 PDF 和图像中提取结构化数据。你提供一个 JSON 模式，它返回与之匹配的对象。这是 Datalab 的 9.7B 视觉语言模型，适合处理文档的开发者。

PLLuM-12B-chat-2512

CYFRAGOVPL · 工具包

PLLuM 系列的波兰语聊天模型，按人类偏好调优，适合对话、问答和摘要，并关注波兰公共服务场景。

Qwen 3.6 35B-A3B REAP-48 v2 GGUF

crucible-labs · 工具包

在 8.78 GiB 的 GGUF 文件里运行经过剪枝和量化的 Qwen3.6-35B-A3B，供 llama.cpp 使用，比第一版更接近未量化的权重。适合内存有限的人。

Underdog-Woof-4B-1.1

ConwayResearch · 工具包

这是一个紧凑的 4.2B 文本生成模型，基于 Qwen 3 4B 后训练，更适配 Underdog 自己的配套环境，并量化为 4-bit MLX 格式。适合在非商业场景下运行小型本地模型的人。

Instinct

continuedev · 工具包

预测你在代码里接下来可能做的修改。这是 Continue 推出的 7.6B 模型，基于 Qwen2.5-Coder-7B 微调，适合想在自己电脑或服务器上运行它的开发者。

ConeML 1.2B Experimental

ConeML · 工具包

从你提供的事实里找出最高、最老或第一个对象，是一个小型英文研究模型，提供 FP32 Safetensors 和 Q8_0 GGUF 文件。适合研究者，仅限非商业使用。

North Mini Code

CohereLabs · 工具包

Cohere 的开放权重研究模型，用于写代码、智能体软件工程和终端任务。30B 模型，3B 激活，256K 上下文。适合自己运行编程模型的开发者。

Chroma Context-1

chromadb · 工具包

一个 200 亿参数的搜索模型，为复杂的多步问题找出支撑文档，并在搜索中修剪自己的上下文。设计成与更大的推理模型搭配的检索助手。

Qwen3.5-9B GGUF (ShapeLearn)

byteshape · 工具包

Qwen3.5-9B 的 GGUF 副本，这个模型能读文字和图像，用 ByteShape 的 ShapeLearn 压缩，面向 llama.cpp。有 GPU 和 CPU 的版本，大小约从 3 GB 到 5.7 GB。

North-Mini-Code-1.0 GGUF

byteshape · 工具包

North-Mini-Code-1.0 编程模型的 GGUF 副本，用 ByteShape 的 ShapeLearn 压缩，面向 llama.cpp 中的 GPU 使用。四种大小，从 12.1 GB 到 21.5 GB，适合单 GPU 的开发者。

UI-TARS-1.5-7B

ByteDance-Seed · 工具包

一个开放的多模态智能体模型，能读屏幕截图并决定在应用、浏览器、手机和游戏中做什么。适合构建电脑操作和图形界面自动化智能体的开发者。

Qwen3.5-4B GGUF

bartowski · 工具包

Qwen3.5-4B 的 imatrix GGUF 量化版本，这是一个带 MTP 层的 4.3B 图文模型，4 位文件约 3 GB。适合在本地运行小模型的人。

MiniCPM5-2B-GGUF

bartowski · 工具包

MiniCPM5-2B 文本模型的多种大小的量化 GGUF 副本，用 llama.cpp 和重要性矩阵制作。适合在自己电脑上运行小型中英文模型的人。

Llama-3.2-1B-Instruct GGUF

bartowski · 工具包

Llama-3.2-1B-Instruct 的 GGUF 量化版本，这是一个支持八种语言的 1.2B 文本模型，4 位文件约 0.8 GB。适合运行微型本地模型的人。

gugujiji_novel-humanize-4b-GGUF

bartowski · 工具包

novel-humanize-4b 中文文本模型的量化 GGUF 副本，从完整精度到小体积文件都有。适合想在自己电脑上运行 40 亿参数写作模型的人。

granite-4.2-3b-GGUF

bartowski · 工具包

IBM 的 granite-4.2-3b 文本模型的量化 GGUF 副本，从完整精度到较小的 3 位文件，尺寸齐全。适合想在自己电脑上运行小型聊天模型的人。

google_gemma-4-31B-it-GGUF

bartowski · 工具包

Google Gemma 4 31B 指令模型的量化 GGUF 文件，大小从 17.15 GB 到 61.41 GB，由 bartowski 用重要性矩阵制作。可读取图像和文字。可在 llama.cpp、LM Studio 等工具里运行。

ERNIE-4.5-VL-28B-A3B-Thinking

baidu · 工具包

读取图像和文字并进行推理，29.7B 参数中同一时间约有 3B 处于激活状态。涵盖读图表、根据照片解 STEM 题、视觉定位和放大图像。Apache 2.0。

ERNIE-4.5-21B-A3B-Thinking

baidu · 工具包

以推理见长的 ERNIE 4.5 混合专家文本模型，总参数 21B、激活参数 3B，上下文 128K，支持工具调用，支持英文和中文。适合需要用较小激活规模做深度推理的开发者。

OvisOCR2

ATH-MaaS · 工具包

文档解析模型：读取一页图像，按阅读顺序输出 Markdown，涵盖文字、公式和表格。约 0.8B 参数，通过 vLLM 运行。适合做文档数字化的开发者。

Apodex-1.1-mini-GGUF

apodex · 工具包

面向长篇研究任务的推理模型，能处理文件、数据、代码和工具，以 GGUF 文件提供，可以自己托管。适合自己运行模型的研究者和开发者。

Qwen3.8-27B-Quark-AWQ-MXFP4

amd · 工具包

把 Qwen3.8-27B 运行为用 AMD Quark 和 AWQ 做出的更小的 MXFP4 量化版本，通过 vLLM 提供服务。适合想要压缩版 27B 视觉语言模型、并看重公开 GSM8K 分数的开发者。

AMALIA-9B-0626-DPO

amalia-llm · 工具包

用欧洲葡萄牙语写作和回答，是葡萄牙高校推出的开源 9B 聊天模型，经监督微调和 DPO 调优。适合需要欧洲葡萄牙语语言模型的开发者和研究者。

Olmo-3.1-32B-Think

allenai · 工具包

回答前先用英语一步步推理，对数学和代码问题有帮助。这是 allenai 的 32B 开放模型，公开了代码、检查点和训练细节，通过 transformers 运行。

Surya 2.5 GGUF

datalab-to · 工具包

从文档图像里读取文字、表格和版面，并以文字返回。这是 Surya 2.5 OCR 模型面向 llama.cpp 的 GGUF 版本，适合想在自己电脑上运行文档 OCR 的人。

Qwen3.5-35B-A3B-GGUF

unsloth · 工具包

在你自己的机器上读取文字和图片、编写代码并调用工具，使用 Unsloth 刷新后的 Qwen3.5 35B-A3B 视觉语言模型 GGUF 文件。适合运行本地智能体的开发者。

Hy-MT2-7B-GGUF

tencent · 工具包

在 33 种语言之间翻译文本并遵循翻译指令，是腾讯 7B 模型面向 llama.cpp 的 GGUF 版本。适合在本地运行翻译的开发者。

Hy-MT2-1.8B-GGUF

tencent · 工具包

在 33 种语言之间翻译文本并遵循翻译指令，是适用于 llama.cpp 的 1.8B GGUF 格式模型。适合想要一个小型本地翻译器的开发者。

Qwen2.5-0.5B-Instruct

Qwen · 工具包

作为最小的指令微调 Qwen2.5 模型回答对话提示，约 0.5B 参数。适合想要轻量本地模型来做对话、结构化输出和测试的开发者。

MinerU2.5-Pro

opendatalab · 工具包

读取文档页面图像并返回文字，是一个 1.2B 参数、为中英文文档解析打造的模型。适合把扫描页变成可用文字的团队。

K2-Horizon-3.7B

IFM · 工具包

作为一个上下文窗口达 512K token 的小型开源模型，处理编程、推理和智能体类任务。由 IFM 制作，适合想要公开的训练数据、代码和训练中途检查点的人。

DialFork Leaderboard

DialFork · 工具包

在一个静态页面上列出各种方法在 DialFork 上的得分，DialFork 是衡量对话式 AI 智能体流程性幻觉的基准。适合要比较智能体方法或想提交自己方法的研究者。

Molmo2-8B

allenai · 工具包

回答关于图片、视频以及多张图片的问题，还能指出它找到的东西。适合想要开源 8B 视觉语言模型来做视频问答、计数和描述的开发者。

BaronLLM Offensive Security LLM Q6_K GGUF

AlicanKiraz0 · 工具包

回答安全问题，帮助规划经授权的红队演练，是 Llama 3.1 8B 的 Q6_K GGUF 微调版本。适合在有权测试的系统上工作的安全研究人员。

GigaChat3.5-432B-A28B

ai-sage · 工具包

用于俄语和英语的对话、代码、推理和工具调用文本生成。这是一个 432B 的混合专家模型，激活参数 28B，适合能自行部署大模型的团队。

GigaChat3.1-10B-A1.8B-GGUF

ai-sage · 工具包

用俄语和英语聊天、写代码、调用函数，是 GGUF 文件形式的紧凑混合专家模型。适合在自己硬件上运行助手的人。

Ara-JEV

AhmedReda25300 · 工具包

根据一段简短的阿拉伯语情境、一个问题和可选选项，挑出最合适的答案标签。适合用 0.8B 级小模型处理阿拉伯语路由或判断任务的开发者。

Qwen3.8-27B Agention Precision GGUF

agentionai · 工具包

把 Qwen3.8-27B 打包成适用于 llama.cpp 的 GGUF 文件，有八种大小，从 8.95 到 16.35 GiB，另附视觉投影器。作者称在每个大小上，它与 BF16 模型的偏离都比其他量化版本小。

Occamy-1.0

Accio-Lab · 工具包

Accio-Lab 推出的开放 35B 图文模型，基于 Qwen3.6-35B-A3B，提供 BF16、GGUF、FP8、NVFP4 和 MLX 格式。适合部署大模型的团队。

GLM-5.3-Flash EXL3 Spark

0xSero · 工具包

在一台 DGX Spark 上以 256k 词元的上下文和图像输入运行 GLM-5.3-Flash，使用每权重约 2.31 位的混合 EXL3 版本。适合在单台小型机器上托管大模型、看重质量而不是速度的人。

Qwen3.8-Flash-Next-125B-UltraLite-37GiB-GGUF

0xKitkat · 工具包

把 Qwen3.8-Flash-Next 混合专家模型压缩成约 37 GiB 的纯文本 GGUF 文件，供实验使用。它需要发布包里附带的补丁版 llama.cpp 才能运行。

Tessera-27B-B-CJK-RL

ZelligeAI · 工具包

用一个会以压缩的中英文速记思考的 27B 模型运行编码智能体循环，每轮花更少的思考词元。适合自己托管大模型的开发者。

AgentForesight-7B

ZBox008003 · 工具包

在多智能体运行展开时进行审计，标出最早的决定性错误，并指出出错的步骤、智能体和简短原因。适合构建和调试智能体团队的开发者。

Strata-Sage-A1.5-GGUF

ykarout · 工具包

为 Strata 推理引擎准备的 35B 模型 Sage-A1.5 的 Q4_K_M GGUF，能在 16 GB 显卡加 64 GB 内存上放下完整的 262K 上下文。适合在本地运行大模型的人。

OpenBonsai Qwen3.5-9B Ternary

webbrain-one · 工具包

用约 2 GB 的 GGUF 文件运行被压缩成三值权重的 Qwen3.5-9B，可在两个 llama.cpp 变体里用 CPU 运行。适合尝试极端压缩的研究预览版。

Qwen3.6-27B-MTP-GGUF

unsloth · 工具包

用 Qwen3.6 27B 写代码和推理，提供 Unsloth 制作的、带多词元预测的 GGUF 文件，卡片说回复能快约 1.5 到 2 倍，且不损失准确度。为编程智能体而做。

Qwen3.5-0.8B-MTP-GGUF

unsloth · 工具包

在 llama.cpp 里运行小型的 Qwen3.5 0.8B 视觉语言模型，借助多 token 预测加快生成，使用 Unsloth 的 GGUF 文件。适合测试推测解码的开发者。

Muse Glimmer 30B GGUF

unsloth · 工具包

在本地运行一个能读文字和图片、调用工具并在调用失败后重试的 30B 智能体模型，使用 Unsloth 的 GGUF 文件。适合在消费级硬件上构建本地智能体的开发者。

granite-4.1-8b-GGUF

unsloth · 工具包

用 IBM 的 Granite 4.1 8B 模型遵循指令、调用工具和聊天，提供 Unsloth 制作的 GGUF 文件，包含聊天模板修复。适合商业助手和会用工具的智能体。

gemma-4-31B-it-qat-GGUF

unsloth · 工具包

用 Unsloth 的 4 比特 QAT GGUF 文件运行 Google 的 Gemma 4 31B 指令模型，自带用于推测解码的草稿模型，可在 llama.cpp 中加速。适合在本地部署大型多模态模型的人。

NeoHorse-1-9B

TokenRhythm · 工具包

从 Qwen3.5-9B 后训练而来的 9B 文本模型，面向智能体框架、工具调用、编程和指令遵循，只发布文本权重。适合在自己硬件上运行智能体的开发者。

MNN-Pocket-0.3B-Base

taobao-mnn · 工具包

约 300M 参数的预训练基础语言模型，支持中文和英文，与 MNN 推理引擎一起设计，面向设备端使用，可作为继续训练或微调的起点。

Beam-1.0-501B-A23B-NVFP4

reflection · 工具包

这个模型读写文本，上下文 1M 个 token，主打编程、智能体调用工具和数学推理，是 NVFP4 形式的 501B 参数混合专家模型。适合有多 GPU 服务器、想用开源模型的团队。

Flint NVFP4 GGUF

RecursiveSI · 工具包

Recursive Flint 文本模型的 4-bit NVFP4 单文件 GGUF 版本，通过 llama.cpp 在 NVIDIA GPU 上运行。适合用 pi 或 OpenCode 在本地跑大模型的开发者。

Qwen3Guard-Gen-0.6B

Qwen · 工具包

一个小型安全审核模型，把提示或模型回复标为安全、有争议或不安全，并指出风险类别，支持 119 种语言。适合筛查聊天输入和输出的开发者。

Qwen3-1.7B-GGUF

Qwen · 工具包

提供 Qwen3 1.7B 小型对话模型的 q8_0 GGUF 文件，供 llama.cpp 使用，可在思考与非思考回复之间切换。适合想要轻量本地助手的人。

Qwen3-1.7B-Base

Qwen · 工具包

作为 1.7B 的基础语言模型来续写文本和代码，预训练覆盖 119 种语言。适合想用小模型做微调或测试的开发者。

Qwen3-1.7B

Qwen · 工具包

一个紧凑的 1.7B 聊天模型，可在用于推理的思考模式和用于对话的快速模式之间切换。适合想用小型开放模型做聊天、翻译和智能体功能的开发者。

Qwen2.5-VL-7B-Instruct

Qwen · 工具包

一个视觉语言模型，能把图片、文档和视频与文字问题一起理解并用文字回答。适合围绕图表、扫描件、屏幕和视频片段开发应用的开发者。

Qwen2.5-Coder-14B-Instruct

Qwen · 工具包

一个 14.8B 参数、按指令调优的代码模型，能根据简单请求编写、解释和修复代码，通过 transformers 库运行。适合想自己托管模型的开发者。

Qwen2.5-7B-Instruct

Qwen · 工具包

这是一个 7.6B 参数的指令微调模型，能聊天、写代码、做数学题并输出结构化 JSON，上下文最长 131,072 个 token。适合需要在单台电脑上运行小型开源模型的开发者。

Qwen2 0.5B Instruct

Qwen · 工具包

Qwen 出品的小型 494M 参数聊天模型，能遵循指令，BF16 权重约 988 MB，通过 Transformers 运行。适合需要轻量模型做测试或简单任务的开发者。

1-bit Bonsai 27B (MLX)

prism-ml · 工具包

在 Apple MLX 上运行一个每个权重压成 1 比特、约 3.9 GB 的 27B 级推理模型，上下文 262K 词元。适合想在手机或笔记本上用大模型的开发者。

Bonsai-1.7B-GGUF

prism-ml · 工具包

用一个每个权重只占 1 比特、约 0.24 GB 的 1.7B 语言模型生成文本，适用于 CUDA、Metal 和 CPU 上的 llama.cpp。适合需要微型本地模型的开发者。

Laguna XS 2.1

poolside · 工具包

用一个 33B 的混合专家模型写代码、完成需要调用工具的长编程任务，每个词元只激活 3B 参数。适合在本地运行编程智能体的开发者。

Qwen3.8-27B-QSA-GSQ-RCO-GGUF

pentacoxian-dev · 工具包

在一块 24 GB 的 GPU 上，以 262K token 的上下文和图片输入运行带稀疏注意力的 Qwen3.8-27B，是 GGUF 文件，适合有定制版 llama.cpp 引擎的人。

Ornith-1.0-9B-GGUF

ornith-ai · 工具包

一个 9B 开源编码智能体模型的 GGUF 副本，用强化学习训练它写出解决方案和围绕方案的脚手架。适合在本地运行智能体、使用单块 GPU 的开发者。

MiniCPM-V-4.7-1B-gguf

openbmb · 工具包

通过 llama.cpp 运行 1B 视觉语言模型，回答关于图片的文字提示词。提供多种量化大小的 GGUF 文件，适合想要小型本地模型的开发者和爱好者。

gpt-oss-safeguard-20b

openai · 工具包

按你写的安全策略对文本分类，并展示推理过程。适合信任与安全团队过滤模型输入输出，以及在线或离线给内容打标签。

gpt-oss-safeguard-120b

openai · 工具包

根据你写的安全政策给文本分类，并展示每个决定背后的推理。适合过滤或标注内容的信任与安全团队。

OneJev1.6-4B

OmniJev · 工具包

读取截图、照片、视频或文字和几个带类型的问题，一次运行就给每个答案选项打出概率。适合开发会看屏幕的智能体的人。