AI 智能体技能、规则与提示词工具包

DeepSeek-R1-GGUF

unsloth · 工具包

671B 参数 DeepSeek-R1 推理模型的 GGUF 版本，带 1.58-bit 和 2-bit 动态量化，可在内存足够的本机上用 llama.cpp 运行。

Axion-1.0-35B-GGUF

prithivMLmods · 工具包

提供 Axion-1.0-35B 的 GGUF 文件，这是一个有约 30 亿激活参数的 35B 混合专家模型，面向科学推理、信息查找和工具使用。适合配合 llama.cpp 在本地使用。

Bonsai-27B-GGUF

lmstudio-community · 工具包

面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版，含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。

Qwen2.5-7B-Instruct-GGUF

Qwen · 工具包

Qwen2.5-7B-Instruct 的 GGUF 文件，提供八种量化大小，可通过 llama.cpp 在本地聊天。适合想在自己电脑上用 7.6B 强力模型、又不想搭 Python 环境的人。

officialmobai_Rostam-S1-4B-GGUF

bartowski · 工具包

Rostam-S1-4B 的 GGUF 量化版本，这是一个 4B 推理模型，擅长数学、物理、软件工作和波斯语与英语文本。适合在本地运行小模型、想自己挑文件大小的人。

Hemmingway-1.5 GGUF

bartowski · 工具包

HemmingwayAI 的 Hemmingway-1.5 的 imatrix GGUF 量化版本，这是一个 27B 文本模型，支持 MTP 推测解码，并有推理强度提示格式。适合在本地运行大模型的人。

AsteroRank-Lepton-GGUF

Asteromorph · 工具包

用面向 STEM 和通用搜索的重排序模型按相关度给搜索结果排序，以 GGUF 文件提供，可在 llama.cpp 中运行。适合想在本地排序的开发者和研究者，仅限非商业使用。

Swift 1.5 Ornith 9B GGUF

ukisai · 工具包

以 llama.cpp 用的 GGUF 量化版本运行 Swift 1.5 Ornith 9B，这是一个调校成用更少 token 思考的推理模型。适合在自己机器上运行 9B 推理模型的人。

MN-Violet-Lotus-12B-GGUF

mradermacher · 工具包

FallenMerick 的 MN-Violet-Lotus-12B 的静态 GGUF 文件，大小从 4.9 GB 到 13.1 GB。适合想在自己电脑上运行 12B 模型的人。

Ornith-1.5-9B-GGUF

AtomicChat · 工具包

Ornith 1.5 9B 的 GGUF 版本，这是一个能读图像和文字的模型，文件大小从 2.81 GB 到 17.9 GB，另有视觉投影文件。选一个适合你显存的文件，在本地运行。

Groot-19B-A3B-TTQ-GGUF

TokenTinkerer · 工具包

为 llama.cpp 提供 Groot-19B-A3B 推理模型的十一种 GGUF 大小，从 7.88 到 18.59 GiB，另有一个视觉投影文件。适合在自己电脑上运行该模型的人。

Qwen3.5-4B-3D-Coder-GGUF

prithivMLmods · 工具包

用早期预览版 Qwen3.5-4B 微调模型的 GGUF 副本写代码，并生成自包含的 Three.js 交互 3D 场景页面。适合在本地做 3D 场景原型的开发者。

Qwen3.8-27B-DFlash2-GGUF

z-lab · 工具包

GGUF 格式的草稿模型，通过提出词元块让主模型验证来加速 Qwen3.8-27B。适合在本地用 llama.cpp 运行该模型的人。

SmolLM3-3B-GGUF

unsloth · 工具包

用 SmolLM3 聊天和推理，这是个完全开放的 3B 模型，可以一步步思考，也可以直接回答，提供 Unsloth 制作的 GGUF 文件，带聊天模板修复。能处理长文本和六种语言。

Qwen3.6-27B-GGUF

unsloth · 工具包

在本地处理智能体编码和图文任务，是 Unsloth 提供的 Qwen3.6-27B 的 GGUF 文件，支持思考保留和长上下文。适合运行本地编码智能体的开发者。

Qwen3.5-4B-MTP-GGUF

unsloth · 工具包

Unsloth 制作的带多 token 预测的 Qwen3.5-4B 的 GGUF 文件，让 llama.cpp 使用推测解码，生成速度约快 1.5 到 2 倍。适合在本地运行小型多模态模型的人。

Qwen3-30B-A3B-GGUF

unsloth · 工具包

unsloth 量化的 Qwen3-30B-A3B GGUF 文件，用于在 llama.cpp、Ollama 或 Open WebUI 里运行本地聊天和推理模型，思考模式可以逐轮开关。

Qwen3-14B-GGUF

unsloth · 工具包

把 Qwen3 14B 做成 GGUF 文件，可在你自己的电脑上运行。这个文本生成模型既能深入思考难题，也能快速作答。由 unsloth 打包，适合在本地运行模型的人。

Qwen2.5-Coder-7B-Instruct-GGUF

unsloth · 工具包

在你自己的电脑上编写、解释和修复代码，是 Unsloth 提供的 Qwen2.5-Coder 7B 指令模型的 GGUF 副本。适合想要本地编码助手的开发者。

Olmo-3-32B-Think-GGUF

unsloth · 工具包

把 32.2B 参数的推理模型 Olmo 3 32B Think 做成 GGUF 文件，可以在你自己的电脑上运行。由 unsloth 打包，适合想本地使用 Apache 2.0 模型的人。

Llama-3.2-3B-Instruct-GGUF

unsloth · 工具包

用 Meta 的紧凑模型 Llama 3.2 3B 指令版聊天、总结和回答问题，提供 Unsloth 制作的 GGUF 文件，从 2 位到 16 位。小到普通笔记本也能用。

gpt-oss-120b-GGUF

unsloth · 工具包

用 Unsloth 制作的 GGUF 文件运行 OpenAI 的开放权重模型 gpt-oss-120b，它有 117B 参数，其中 5.1B 处于激活状态，文件带有 Unsloth 的修复。面向推理、智能体任务和开发者使用。

gemma-3-27b-it-GGUF

unsloth · 工具包

用 Google 的 Gemma 3 27B 指令微调模型回答关于文本和图像的问题，提供 Unsloth 制作的 GGUF 文件，可在你自己的电脑上运行。支持 128K 词元上下文。

gemma-3-270m-it-GGUF

unsloth · 工具包

作为 268M 的指令微调 Gemma 3 模型，以 GGUF 格式根据提示词生成文本，小到可以在笔记本和台式机上运行。适合想要一个微型本地模型来运行或微调的开发者。

gemma-3-12b-it-GGUF

unsloth · 工具包

用 Google Gemma 3 12B 指令模型的 GGUF 文件回答问题、总结文本并读图，适合想在自己电脑上运行它的人。

ERNIE-4.5-21B-A3B-Thinking-GGUF

unsloth · 工具包

用每个词元只激活 3B 参数的 21B 混合专家模型处理逻辑、数学、科学和编程问题，提供 Unsloth 制作的 GGUF 文件。支持工具调用和 128K 上下文。

bge-small-en-v1.5-GGUF

unsloth · 工具包

把英文文本变成嵌入向量，用于搜索和检索，是一个 33.2M 参数的小型 GGUF 文件。适合在普通硬件上构建搜索或检索应用的开发者。

Clef-LoRA-for-Qwen3.8-27B-GGUF

trevest · 工具包

把 Cloudflare Clef 的决策头加到 Qwen3.8-27B 聊天模型上，让一台 24 GB GPU 上的 llama.cpp 服务器既能回答带类型的问题，也能聊天。它是 LoRA 适配器，不是独立模型。

Hy-MT2-1.8B-1.25Bit-GGUF

tencent · 工具包

在你自己的设备上用压缩到 1.25 比特的 1.8B 模型进行 33 种语言之间的翻译，GGUF 文件约 440 MB，适用于 llama.cpp。适合给应用加入离线翻译的开发者。

Sweep Next-Edit 1.5B (GGUF)

sweepai · 工具包

根据当前打开的文件、最近的改动和当前状态预测你的下一处代码修改，以 1.5B 的 Q8_0 GGUF 模型在本地运行。适合想在自己笔记本上获得编辑自动补全的开发者。

Qwen3-TTS GGUF

Serveurperso · 工具包

这个模型通过 C++ 运行时 qwentts.cpp，在 CPU、CUDA、Metal 或 Vulkan 上用多种语言朗读文本，有命名说话人和普通话方言，还能用一段短录音克隆声音。适合想在本地做文字转语音的开发者。

BeeLLM

schizophyllume · 工具包

提供一组会发出蜜蜂嗡嗡声的小型 GGUF 语言模型，有只会嗡嗡的小蜜蜂、带情绪标签的蜜蜂，以及蜂后与工蜂相连的蜂巢。适合喜欢超小模型的爱好者和开发者。

Sarvam-105B GGUF

sarvamai · 工具包

Sarvam-105B 的 GGUF 版本，一个重视印度语言的大型混合专家模型，按 4 位拆成 9 个分片，供 llama.cpp 使用。适合内存充足、想用大型开源模型的人。

MiMo-V2.6-Distill-Qwen-9B-GSQ-RCO-GGUF

sainez · 工具包

把一个 9B 的编程和工具调用模型做成一个 3.64 GiB 的 GGUF 文件，以约 3.5 比特每权重量化，方便在你自己的机器上运行。

Unlimited-OCR-2-GGUF

RX5950XT · 工具包

Unlimited-OCR-2 文档 OCR 模型的 GGUF 文件，提供 BF16、Q8_0 和 Q4_K_M，并附视觉投影器。只能在应用了仓库补丁的 llama.cpp 里运行，适合在本地读取扫描和多页文档的人。

Qwen3-30B-A3B-GGUF

Qwen · 工具包

一个 30.5B 的混合专家聊天模型，GGUF 格式，每个词元只激活 3.3B 参数，可在 llama.cpp 或 ollama 里运行。有思考和普通两种模式，适合机器配置较高的开发者。

Qwen3-0.6B-GGUF

Qwen · 工具包

一个 0.6B 的小型 GGUF 聊天模型，可在 llama.cpp 或 ollama 里本地运行，并能在思考和普通回复之间切换。适合硬件一般的用户和测试本地模型的开发者。

Qwen2.5-Coder-32B-Instruct-GGUF

Qwen · 工具包

一个 32B 代码聊天模型的 GGUF 版本，可用 llama.cpp 在本地运行。能根据简单请求编写、解释和修复代码，适合想在自己机器上运行的开发者。

pplx-decider-flash-gguf-v1.2

perplexity-ai · 工具包

根据你设定的选项给请求分类，支持文本和图像，使用小型决策模型的 Q8_0 GGUF 副本。适合能运行协议 v3 运行时的开发者。

Luciole-8B-Instruct-1.1-GGUF

OpenLLM-France · 工具包

Luciole-8B-Instruct-1.1 的量化 GGUF 副本，一个支持法语和英语的 8B 文本生成模型，可在你自己的电脑上运行。来自 LINAGORA 在 OpenLLM-France 联盟中的工作。

MiniCPM-OCR 1.0 GGUF

openbmb · 工具包

把中英文文档（包括 PDF）解析成文本、表格和公式，提供给 llama.cpp 使用的 GGUF 文件。适合在自己机器上运行 MiniCPM-OCR 1.0 的人。

SenseNova-6.8-Code2Video GSQ-RCO GGUF

OliviaRossi · 工具包

以混合精度 GGUF 文件运行 26.9B 参数的 SenseNova-6.8-Code2Video 模型，可在终端聊天或启动本地服务。适合想在自己硬件上使用该模型的人。

RealVisXL V5.0 GGUF

off-grid-ai · 工具包

用 stable-diffusion.cpp 加上 RealVisXL V5.0 的 GGUF 副本，在你自己的电脑上根据文字生成图片。适合想在本地生成图片、并在更轻或更高质量的文件之间选择的人。

Juggernaut XL v9 GGUF

off-grid-ai · 工具包

用 stable-diffusion.cpp 加上 Juggernaut XL v9 的 GGUF 副本，在你自己的电脑上根据文字生成图片。适合想在本地生成图片、并在更轻或更高质量的文件之间选择的人。

Hermes-4.3-36B-GGUF

NousResearch · 工具包

Hermes 4.3 36B 的 GGUF 版本，是一个混合推理模型，能先思考再回答、写出有效的 JSON，并遵循你的系统提示词。适合在自己机器上运行大模型的人。

nomic-embed-text-v1.5-GGUF

nomic-ai · 工具包

通过 llama.cpp 在你自己的机器上把句子变成向量，使用紧凑的 GGUF 文件，适合搜索和 RAG 提问。适合想要本地文本嵌入的开发者。

Qwen2-Audio-7B-GGUF

NexaAI · 工具包

在本地运行 Qwen2-Audio，用语音聊天并分析音频，包括语音翻译、转写和声音检测。这是用于 Nexa-SDK 的 GGUF 副本，适合想在自己设备上用音频 AI 的人。

Qwen3.8-Flash-Next-DFlash2-GGUF

nazeshinjite · 工具包

一个 GGUF 草稿模型，通过推测解码让 llama.cpp 里的 Qwen3.8-Flash-Next 更快，文件有 334 MiB 和 622 MiB 两种。它不是独立模型，适合在本地运行该目标模型的人。

Qwen3.8-27B Fable-5 Coding Distilled GGUF

mradermacher · 工具包

一个 27.3B、经过编程蒸馏的 Qwen3.8 模型的 GGUF 量化文件，从 2 位到 8 位，另有可选的多模态补充文件。适合在本地运行编程模型、需要一个放得进内存的尺寸的开发者。

OneJev1.6-4B-GGUF

mradermacher · 工具包

OneJev1.6-4B 的量化 GGUF 副本，大小从约 2 GB 到 8.5 GB，可在你自己的电脑上运行。模型卡没有说明基础模型的用途。