来自 Hugging Face 的 AI 项目

Qwen3.5-0.8B-MTP-GGUF

unsloth · 工具包

在 llama.cpp 里运行小型的 Qwen3.5 0.8B 视觉语言模型，借助多 token 预测加快生成，使用 Unsloth 的 GGUF 文件。适合测试推测解码的开发者。

gemma-4-31B-it-qat-GGUF

unsloth · 工具包

用 Unsloth 的 4 比特 QAT GGUF 文件运行 Google 的 Gemma 4 31B 指令模型，自带用于推测解码的草稿模型，可在 llama.cpp 中加速。适合在本地部署大型多模态模型的人。

Flint NVFP4 GGUF

RecursiveSI · 工具包

Recursive Flint 文本模型的 4-bit NVFP4 单文件 GGUF 版本，通过 llama.cpp 在 NVIDIA GPU 上运行。适合用 pi 或 OpenCode 在本地跑大模型的开发者。

Qwen3-1.7B-GGUF

Qwen · 工具包

提供 Qwen3 1.7B 小型对话模型的 q8_0 GGUF 文件，供 llama.cpp 使用，可在思考与非思考回复之间切换。适合想要轻量本地助手的人。

Xiaomi-OCR-0-GGUF

prithivMLmods · 工具包

提供 Xiaomi-OCR-0 的 GGUF 文件，这是一个用来读取文档和图片文字的 0.8B 紧凑视觉语言模型，大小从约 466 MB 到 1.52 GB。适合配合 llama.cpp 做本地 OCR。

Bonsai-1.7B-GGUF

prism-ml · 工具包

用一个每个权重只占 1 比特、约 0.24 GB 的 1.7B 语言模型生成文本，适用于 CUDA、Metal 和 CPU 上的 llama.cpp。适合需要微型本地模型的开发者。

Qwen3.8-27B-QSA-GSQ-RCO-GGUF

pentacoxian-dev · 工具包

在一块 24 GB 的 GPU 上，以 262K token 的上下文和图片输入运行带稀疏注意力的 Qwen3.8-27B，是 GGUF 文件，适合有定制版 llama.cpp 引擎的人。

MiniCPM-V-4.7-1B-gguf

openbmb · 工具包

通过 llama.cpp 运行 1B 视觉语言模型，回答关于图片的文字提示词。提供多种量化大小的 GGUF 文件，适合想要小型本地模型的开发者和爱好者。

MiniCPM-OCR Jev GGUF

openbmb · 工具包

为文本、公式和表格区域的 OCR 结果打 0 到 1 之间的质量分，提供给 llama.cpp 使用的 GGUF 文件。适合在自己机器上检查 OCR 结果的人。

Hermes-3-Llama-3.2-3B

NousResearch · 工具包

一个 3.2B 的聊天助手模型，能遵循指令、调用函数、输出结构化内容并写代码。适合在自己电脑上运行模型的开发者和爱好者。

Qwen3.5-0.8B-weight-space-programming-GGUF

NotCherry · 工具包

把 Qwen3.5-0.8B weight-space-programming 模型打包成适用于 llama.cpp 的 GGUF 文件，包括 4 位文本模型和用于图像输入的独立视觉投影文件。

Tess-4.5-27B GGUF

migtissera · 工具包

Tess-4.5 的 GGUF 版本，这是一个 27B 开放权重的编程和智能体模型，供 llama.cpp 使用，带视觉投影器和可选的草稿头来加快生成。适合在本地运行模型的人。

Qwen3.6-35B-A3B lododo-Distill-v1.0 (GGUF)

lododoai · 工具包

一个可在本地运行的文本模型，是 Qwen3.6-35B-A3B 的微调版本，用 Qwen3.8-27B 生成的数据训练，打包成适用于 llama.cpp 的单个 GGUF 文件。适合在自己机器上跑模型做代码和工具调用的人。

llm-jp-4.1-33b-thinking

llm-jp · 工具包

LLM-jp 项目推出的 33.2B 参数英日双语文本生成模型。经过 SFT 和 DPO 后训练，上下文 65,536 词元，权重采用 Apache 2.0，可通过 transformers 加载。

Qwen3.8-27B-SLQ-GGUF

kaitchup · 工具包

用自定义的统计无损量化，把 Qwen3.8-27B 压成三个体积和保真度各不相同的 GGUF 文件。适合在 llama.cpp 里本地运行这个模型的人。

K2-Horizon-7B-GGUF

IFM · 工具包

IFM 的 K2-Horizon-7B 文本模型的量化 GGUF 副本，可在 llama.cpp 中本地运行，从 BF16 到 4 位都有，上下文窗口为 512K 词元。

SmolLM2-360M-Instruct

HuggingFaceTB · 工具包

用一个 3.62 亿参数、在普通硬件上就能运行的指令微调模型回答聊天式问题，也能做改写和摘要。适合想要比 135M 更有余量的小型聊天模型的开发者。

SmolLM2-135M

HuggingFaceTB · 工具包

用一个 1.35 亿参数、小到能在设备上运行的基础语言模型，根据提示续写英文文本。适合想用微型模型做测试或微调的开发者。

Qwen3.8-27B Intel Arc Tuned

Greatjedi · 工具包

提供为 Intel Arc GPU 重新调整的 27B Qwen3.8 GGUF 文件，作者的测试里纯解码约每秒 22 个词元。适合在 Arc 显卡上用 llama.cpp 和 SYCL 的人。

Qwen3-Reranker-0.6B-Q8_0-GGUF

ggml-org · 工具包

按与查询的相关度给段落排序，是 Qwen3 0.6B 重排序模型的 8-bit GGUF 副本，用 llama.cpp 制作。适合想要小型本地重排序模型来做搜索的开发者。