AI 智能体技能、规则与提示词工具包

North-Mini-Code-1.0 GGUF

byteshape · 工具包

North-Mini-Code-1.0 编程模型的 GGUF 副本，用 ByteShape 的 ShapeLearn 压缩，面向 llama.cpp 中的 GPU 使用。四种大小，从 12.1 GB 到 21.5 GB，适合单 GPU 的开发者。

Qwen3.5-4B GGUF

bartowski · 工具包

Qwen3.5-4B 的 imatrix GGUF 量化版本，这是一个带 MTP 层的 4.3B 图文模型，4 位文件约 3 GB。适合在本地运行小模型的人。

MiniCPM5-2B-GGUF

bartowski · 工具包

MiniCPM5-2B 文本模型的多种大小的量化 GGUF 副本，用 llama.cpp 和重要性矩阵制作。适合在自己电脑上运行小型中英文模型的人。

Llama-3.2-1B-Instruct GGUF

bartowski · 工具包

Llama-3.2-1B-Instruct 的 GGUF 量化版本，这是一个支持八种语言的 1.2B 文本模型，4 位文件约 0.8 GB。适合运行微型本地模型的人。

gugujiji_novel-humanize-4b-GGUF

bartowski · 工具包

novel-humanize-4b 中文文本模型的量化 GGUF 副本，从完整精度到小体积文件都有。适合想在自己电脑上运行 40 亿参数写作模型的人。

granite-4.2-3b-GGUF

bartowski · 工具包

IBM 的 granite-4.2-3b 文本模型的量化 GGUF 副本，从完整精度到较小的 3 位文件，尺寸齐全。适合想在自己电脑上运行小型聊天模型的人。

google_gemma-4-31B-it-GGUF

bartowski · 工具包

Google Gemma 4 31B 指令模型的量化 GGUF 文件，大小从 17.15 GB 到 61.41 GB，由 bartowski 用重要性矩阵制作。可读取图像和文字。可在 llama.cpp、LM Studio 等工具里运行。

Cloudflare clef GGUF

bartowski · 工具包

Cloudflare 的 clef 决策模型的静态 GGUF 量化版本，它不写文字，而是一次性为关于某个状态的类型化问题的每个选项打分。适合用 llama.cpp 运行它的开发者。

MOSS-Image-SFT GGUF

axiomofmind · 工具包

MOSS-Image-SFT 扩散 Transformer 的非官方 GGUF 文件，有 Q8_0 和 Q4_K_S 两种，用 stable-diffusion.cpp 在本地做文字生成图像。需要另外准备 Qwen3.5-9B 编码器、分词器和 VAE。

Ming 3.0 TTS 0.5B GGUF

audio-cpp · 工具包

为 audio.cpp 运行时打包的 Ming 3.0 TTS 0.5B GGUF：文字转语音、声音克隆和声音设计，支持七种语言，输出单声道 44.1 kHz，不需要 Python 运行环境。适合开发者。

Apodex-1.1-mini-GGUF

apodex · 工具包

面向长篇研究任务的推理模型，能处理文件、数据、代码和工具，以 GGUF 文件提供，可以自己托管。适合自己运行模型的研究者和开发者。

Surya 2.5 GGUF

datalab-to · 工具包

从文档图像里读取文字、表格和版面，并以文字返回。这是 Surya 2.5 OCR 模型面向 llama.cpp 的 GGUF 版本，适合想在自己电脑上运行文档 OCR 的人。

Qwen3.5-35B-A3B-GGUF

unsloth · 工具包

在你自己的机器上读取文字和图片、编写代码并调用工具，使用 Unsloth 刷新后的 Qwen3.5 35B-A3B 视觉语言模型 GGUF 文件。适合运行本地智能体的开发者。

Hy-MT2-7B-GGUF

tencent · 工具包

在 33 种语言之间翻译文本并遵循翻译指令，是腾讯 7B 模型面向 llama.cpp 的 GGUF 版本。适合在本地运行翻译的开发者。

Hy-MT2-1.8B-GGUF

tencent · 工具包

在 33 种语言之间翻译文本并遵循翻译指令，是适用于 llama.cpp 的 1.8B GGUF 格式模型。适合想要一个小型本地翻译器的开发者。

BaronLLM Offensive Security LLM Q6_K GGUF

AlicanKiraz0 · 工具包

回答安全问题，帮助规划经授权的红队演练，是 Llama 3.1 8B 的 Q6_K GGUF 微调版本。适合在有权测试的系统上工作的安全研究人员。

GigaChat3.1-10B-A1.8B-GGUF

ai-sage · 工具包

用俄语和英语聊天、写代码、调用函数，是 GGUF 文件形式的紧凑混合专家模型。适合在自己硬件上运行助手的人。

Qwen3.8-27B Agention Precision GGUF

agentionai · 工具包

把 Qwen3.8-27B 打包成适用于 llama.cpp 的 GGUF 文件，有八种大小，从 8.95 到 16.35 GiB，另附视觉投影器。作者称在每个大小上，它与 BF16 模型的偏离都比其他量化版本小。

Occamy-1.0

Accio-Lab · 工具包

Accio-Lab 推出的开放 35B 图文模型，基于 Qwen3.6-35B-A3B，提供 BF16、GGUF、FP8、NVFP4 和 MLX 格式。适合部署大模型的团队。

Qwen3.8-Flash-Next-125B-UltraLite-37GiB-GGUF

0xKitkat · 工具包

把 Qwen3.8-Flash-Next 混合专家模型压缩成约 37 GiB 的纯文本 GGUF 文件，供实验使用。它需要发布包里附带的补丁版 llama.cpp 才能运行。