AI 智能体技能、规则与提示词工具包

Strata-Sage-A1.5-GGUF

ykarout · 工具包

为 Strata 推理引擎准备的 35B 模型 Sage-A1.5 的 Q4_K_M GGUF，能在 16 GB 显卡加 64 GB 内存上放下完整的 262K 上下文。适合在本地运行大模型的人。

OpenBonsai Qwen3.5-9B Ternary

webbrain-one · 工具包

用约 2 GB 的 GGUF 文件运行被压缩成三值权重的 Qwen3.5-9B，可在两个 llama.cpp 变体里用 CPU 运行。适合尝试极端压缩的研究预览版。

Granite Speech 5.0 TurboCTC 470M GGUF

vladers · 工具包

把语音转成文字，支持七种语言，是 IBM Granite Speech 5.0 TurboCTC 470M 的量化 GGUF 版本，为 transcribe.cpp 制作。适合想加入本地听写或转录功能的开发者。

Z-Image-Turbo-GGUF

unsloth · 工具包

Unsloth 制作的 Z-Image-Turbo 的 GGUF 文件，这是一个快速的蒸馏文生图模型，作者称它能放进 16 GB 的消费级 GPU。适合用支持 GGUF 的工具在本地生成图像的人。

Qwen3.6-27B-MTP-GGUF

unsloth · 工具包

用 Qwen3.6 27B 写代码和推理，提供 Unsloth 制作的、带多词元预测的 GGUF 文件，卡片说回复能快约 1.5 到 2 倍，且不损失准确度。为编程智能体而做。

Qwen3.5-0.8B-MTP-GGUF

unsloth · 工具包

在 llama.cpp 里运行小型的 Qwen3.5 0.8B 视觉语言模型，借助多 token 预测加快生成，使用 Unsloth 的 GGUF 文件。适合测试推测解码的开发者。

Muse Glimmer 30B GGUF

unsloth · 工具包

在本地运行一个能读文字和图片、调用工具并在调用失败后重试的 30B 智能体模型，使用 Unsloth 的 GGUF 文件。适合在消费级硬件上构建本地智能体的开发者。

granite-4.1-8b-GGUF

unsloth · 工具包

用 IBM 的 Granite 4.1 8B 模型遵循指令、调用工具和聊天，提供 Unsloth 制作的 GGUF 文件，包含聊天模板修复。适合商业助手和会用工具的智能体。

gemma-4-31B-it-qat-GGUF

unsloth · 工具包

用 Unsloth 的 4 比特 QAT GGUF 文件运行 Google 的 Gemma 4 31B 指令模型，自带用于推测解码的草稿模型，可在 llama.cpp 中加速。适合在本地部署大型多模态模型的人。

YuE2-GGUF

Serveurperso · 工具包

yue2.cpp 的预量化 GGUF 文件，yue2.cpp 是一个 C++ 歌曲生成器，把风格标签和歌词变成立体声音频，并附上它写出的乐谱。适合想在自己电脑上运行的音乐人和爱好者。

Haas-ja-v1.0-GGUF

sakasegawa · 工具包

日语语音识别模型的 GGUF 文件，只能在 speech.cpp 中运行，支持 macOS、Windows、Linux，也可只用 CPU。适合在自己电脑上转写日语音频的人。

Flint NVFP4 GGUF

RecursiveSI · 工具包

Recursive Flint 文本模型的 4-bit NVFP4 单文件 GGUF 版本，通过 llama.cpp 在 NVIDIA GPU 上运行。适合用 pi 或 OpenCode 在本地跑大模型的开发者。

Qwen3-Embedding-0.6B-GGUF

Qwen · 工具包

这个 0.6B 的 GGUF 格式模型把文本变成数字向量，用于 100 多种语言的搜索、检索和聚类。适合要在自己机器上做搜索或相似度功能的开发者。

Qwen3-1.7B-GGUF

Qwen · 工具包

提供 Qwen3 1.7B 小型对话模型的 q8_0 GGUF 文件，供 llama.cpp 使用，可在思考与非思考回复之间切换。适合想要轻量本地助手的人。

Xiaomi-OCR-0-GGUF

prithivMLmods · 工具包

提供 Xiaomi-OCR-0 的 GGUF 文件，这是一个用来读取文档和图片文字的 0.8B 紧凑视觉语言模型，大小从约 466 MB 到 1.52 GB。适合配合 llama.cpp 做本地 OCR。

Bonsai-1.7B-GGUF

prism-ml · 工具包

用一个每个权重只占 1 比特、约 0.24 GB 的 1.7B 语言模型生成文本，适用于 CUDA、Metal 和 CPU 上的 llama.cpp。适合需要微型本地模型的开发者。

Qwen3.8-27B-QSA-GSQ-RCO-GGUF

pentacoxian-dev · 工具包

在一块 24 GB 的 GPU 上，以 262K token 的上下文和图片输入运行带稀疏注意力的 Qwen3.8-27B，是 GGUF 文件，适合有定制版 llama.cpp 引擎的人。

Ornith-1.0-9B-GGUF

ornith-ai · 工具包

一个 9B 开源编码智能体模型的 GGUF 副本，用强化学习训练它写出解决方案和围绕方案的脚手架。适合在本地运行智能体、使用单块 GPU 的开发者。

MiniCPM-V-4.7-1B-gguf

openbmb · 工具包

通过 llama.cpp 运行 1B 视觉语言模型，回答关于图片的文字提示词。提供多种量化大小的 GGUF 文件，适合想要小型本地模型的开发者和爱好者。

MiniCPM-OCR Jev GGUF

openbmb · 工具包

为文本、公式和表格区域的 OCR 结果打 0 到 1 之间的质量分，提供给 llama.cpp 使用的 GGUF 文件。适合在自己机器上检查 OCR 结果的人。

Qwen3.5-0.8B-weight-space-programming-GGUF

NotCherry · 工具包

把 Qwen3.5-0.8B weight-space-programming 模型打包成适用于 llama.cpp 的 GGUF 文件，包括 4 位文本模型和用于图像输入的独立视觉投影文件。

Qwen3.8-27B-CodeForge-3xMerge i1 GGUF

mradermacher · 工具包

Qwen3.8-27B-CodeForge-3xMerge 模型的重要性矩阵 GGUF 量化版，大小约 11 GB 到 22.5 GB，用于本地运行。适合在自己电脑上运行 27B 模型的人。

Morphy1.1-Coder-Beta-7B-GGUF

moolvylabs · 工具包

moolvylabs 的 7.6B 编程模型，提供 GGUF 形式，作为测试版发布并征求反馈。卡片很简短，目前没有运行步骤、基准或训练细节。

Tess-4.5-27B GGUF

migtissera · 工具包

Tess-4.5 的 GGUF 版本，这是一个 27B 开放权重的编程和智能体模型，供 llama.cpp 使用，带视觉投影器和可选的草稿头来加快生成。适合在本地运行模型的人。

Qwen3.6-35B-A3B lododo-Distill-v1.0 (GGUF)

lododoai · 工具包

一个可在本地运行的文本模型，是 Qwen3.6-35B-A3B 的微调版本，用 Qwen3.8-27B 生成的数据训练，打包成适用于 llama.cpp 的单个 GGUF 文件。适合在自己机器上跑模型做代码和工具调用的人。

Qwen3.8-27B-SLQ-GGUF

kaitchup · 工具包

用自定义的统计无损量化，把 Qwen3.8-27B 压成三个体积和保真度各不相同的 GGUF 文件。适合在 llama.cpp 里本地运行这个模型的人。

Qwopus3.8-27B-Flash-V2-GGUF

Jackrong · 工具包

减少长时间智能体任务里被浪费的推理，是 Qwen3.8-27B 第二版 Flash 微调模型的 GGUF 版本，Python 格式更好。适合在本地跑智能体循环的人。

Ling-3.0-tiny-GGUF

inclusionAI · 工具包

inclusionAI 的 Ling-3.0-tiny 的 GGUF 副本。这是一个小型混合专家推理模型，总参数 7.9B，激活参数 1.3B，适合低成本本地运行。

K2-Horizon-7B-GGUF

IFM · 工具包

IFM 的 K2-Horizon-7B 文本模型的量化 GGUF 副本，可在 llama.cpp 中本地运行，从 BF16 到 4 位都有，上下文窗口为 512K 词元。

Qwen3.8-27B Intel Arc Tuned

Greatjedi · 工具包

提供为 Intel Arc GPU 重新调整的 27B Qwen3.8 GGUF 文件，作者的测试里纯解码约每秒 22 个词元。适合在 Arc 显卡上用 llama.cpp 和 SYCL 的人。

phonon-31m English for audio.cpp

gradium · 工具包

在 CPU 上用 31M 的文字转语音模型朗读英语文本，提供 GGUF 格式，供 audio.cpp 运行时使用。适合想要小型本地语音模型的开发者。

Qwen3-Reranker-0.6B-Q8_0-GGUF

ggml-org · 工具包

按与查询的相关度给段落排序，是 Qwen3 0.6B 重排序模型的 8-bit GGUF 副本，用 llama.cpp 制作。适合想要小型本地重排序模型来做搜索的开发者。

Laya-GGUF

ggml-org · 工具包

一个 4.21 亿参数的小型决策模型，GGUF 格式，在本地提供服务，通过 systemone API 调用。适合使用 llama.cpp 工具、想要紧凑分类器的开发者。

Kev-4B

ggml-org · 工具包

通过 llama 服务的 /v1/systemone API 做决策，来自一个 4.2B 模型的 GGUF 副本。适合想要小型本地决策模型的开发者。

gemma-4-E4B-it-GGUF

ggml-org · 工具包

Google gemma-4-E4B-it 的 GGUF 格式副本，可以用 Llama 应用或 llama serve 命令在你自己的电脑上运行，适合想在本地运行 Gemma 的人。

gemma-4-12B-it GGUF

ggml-org · 工具包

通过 Llama 应用或 llama 命令，在你自己的电脑上运行 Google 的 gemma-4-12B-it，文件是 ggml-org 自动转换的 GGUF。适合在本地运行模型的人。

DeepSeek-V4.1-Flash-1017 GGUF

ggml-org · 工具包

DeepSeek 的 748B 模型 V4.1 Flash 1017 的 GGUF 文件，由 ggml-org 转换并附带处理图片的视觉文件，适合有大内存机器、通过 llama.cpp 工具运行模型的人。

POCKET-35B-GGUF

FINAL-Bench · 工具包

用 llama.cpp 从 GGUF 文件在你自己的电脑上运行针对韩语调优的 35B 模型，有纯 CPU 路径，不需要 GPU。适合想在本地使用语言模型的人。

KVARK Sparkle 1.1 27B GGUF

Egzakta · 工具包

用多种大小的 GGUF 文件运行 27B 的 KVARK Sparkle 1.1 模型，可选图像输入和推测解码。适合用 llama.cpp、Ollama 或 LM Studio 在本地跑模型的人。

Kvark-Sparkle-1.0-27B-GGUF

Egzakta · 工具包

KVARK Sparkle 1.0 这个 27B 视觉语言模型的 GGUF 文件，适用于 llama.cpp、Ollama 和 LM Studio，保留了推测解码头。适合在本地运行大模型的人。

Qwen3.8 Flash Next Turbo Brilliance 50x GGUF

DavidAU · 工具包

DavidAU 制作的 Qwen3.8-Flash-Next 的 GGUF 版本，有 27 种推理模式、27 种指令模式和 15 个可在提示词里切换的 AI 角色。适合有大显卡或大内存的人。

Qwen3.8-27B-Jumbo-Fusion-IQ-747-900-Turbo-Brilliance-50X

DavidAU · 工具包

DavidAU 对 27B Qwen 模型的 GGUF 微调版，有可切换的指令和推理模式，以及内置的帮助系统。Hugging Face 把它列为图文转文字。供本地运行。

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF

DavidAU · 工具包

回答问题并读取图像，思考过程短得多。这是 DavidAU 对 27B 的 Qwen 3.8 的调优版 GGUF，目标是在保持准确度的同时减少推理 token，适合在本地运行模型的人。

Qwen3.8-27B iMatrix NVFP4 MTP GGUF

cdiamond · 工具包

Qwen3.8-27B 的 17.1 GB 混合精度 GGUF，保留了多词元预测层，为 24 GB GPU 上的 256K 上下文和视觉功能调优。适合在 llama.cpp 里本地运行大模型的人。

Qwen3.6-35B-A3B MTP GGUF

byteshape · 工具包

用带多词元预测的 GGUF 量化版本运行 Qwen3.6-35B-A3B，在 llama.cpp 里让 GPU 解码更快。由 ByteShape 制作，适合在显卡上运行本地模型的人。

Meta-Llama-3.1-8B-Instruct-GGUF

bartowski · 工具包

Meta Llama 3.1 8B Instruct 的量化 GGUF 文件，用于本地聊天，例如 Q4_K_M 为 4.92 GB，Q8_0 为 8.54 GB。由 bartowski 用重要性矩阵制作。涵盖 8 种语言，可在 LM Studio 中运行。

Llama-3.2-3B-Instruct-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Meta 的 Llama-3.2-3B-Instruct 制作的 GGUF 量化版本，大小约从 1.8 GB 到 6.4 GB。适合用 llama.cpp 或 LM Studio 在本地运行小型聊天模型。

KAT-Coder-V2.5-Dev GGUF

bartowski · 工具包

Kwaipilot 的 KAT-Coder-V2.5-Dev 的 imatrix GGUF 量化版本，这是一个 34.7B 文本模型，4 位文件约 19 GB 起。适合在本地运行名字里带 Coder 的大模型的人。

DeepSeek V4.1 Flash GGUF for DwarfStar

antirez · 工具包

为 Mac 用户提供 DeepSeek V4.1 Flash 经过校准的 2 位和 4 位 GGUF 文件，另有单独的视觉编码器，供 DwarfStar 的 Metal 引擎配合 SSD 流式加载使用。与其他 DeepSeek 权重不通用。

Forge-1-Gemma-4-E2B

YoSaNoo · 工具包

一个从 Google 的 gemma-4-E2B 微调而来的小型文本模型，偏向写代码，以 GGUF 文件发布，可在 Ollama、LM Studio、Unsloth 或 Jan 中在自己的笔记本上运行。