开发者 AI 技能与智能体

Juggernaut XL v9 GGUF

off-grid-ai · 工具包

用 stable-diffusion.cpp 加上 Juggernaut XL v9 的 GGUF 副本，在你自己的电脑上根据文字生成图片。适合想在本地生成图片、并在更轻或更高质量的文件之间选择的人。

Hermes-4.3-36B-GGUF

NousResearch · 工具包

Hermes 4.3 36B 的 GGUF 版本，是一个混合推理模型，能先思考再回答、写出有效的 JSON，并遵循你的系统提示词。适合在自己机器上运行大模型的人。

nomic-embed-text-v1.5-GGUF

nomic-ai · 工具包

通过 llama.cpp 在你自己的机器上把句子变成向量，使用紧凑的 GGUF 文件，适合搜索和 RAG 提问。适合想要本地文本嵌入的开发者。

Qwen3.8-Flash-Next-DFlash2-GGUF

nazeshinjite · 工具包

一个 GGUF 草稿模型，通过推测解码让 llama.cpp 里的 Qwen3.8-Flash-Next 更快，文件有 334 MiB 和 622 MiB 两种。它不是独立模型，适合在本地运行该目标模型的人。

Qwen3.8-27B Fable-5 Coding Distilled GGUF

mradermacher · 工具包

一个 27.3B、经过编程蒸馏的 Qwen3.8 模型的 GGUF 量化文件，从 2 位到 8 位，另有可选的多模态补充文件。适合在本地运行编程模型、需要一个放得进内存的尺寸的开发者。

OneJev1.6-4B-GGUF

mradermacher · 工具包

OneJev1.6-4B 的量化 GGUF 副本，大小从约 2 GB 到 8.5 GB，可在你自己的电脑上运行。模型卡没有说明基础模型的用途。

L3-8B-Stheno-v3.3-32K-GGUF

mradermacher · 工具包

Sao10K 的 Stheno 8B 模型的静态 GGUF 文件，大小从 3.3 GB 到 16.2 GB。适合想在自己电脑上运行 8B 模型的人，许可证为非商业。

KnowLine-4B-Gen5.5-GGUF

mradermacher · 工具包

PelaAI 的 KnowLine 4B 模型的静态 GGUF 文件，大小从 2.1 GB 到 8.8 GB，标注了英文和中文。适合想在自己电脑上运行小模型的人。

Muse Glimmer 30B GGUF

meta-models · 工具包

一个 300 亿参数智能体模型的 GGUF 版本，供 llama.cpp 使用，附带可选的图像编码器和推测解码草稿模型。适合在 24 GB 显卡上本地运行模型的人。

dale-9b (GGUF)

manuelgscom · 工具包

把西班牙语或英语请求变成一条 Linux bash 命令，以小型 JSON 对象返回。适合想要在 CPU 或 GPU 上运行本地命令助手的终端用户和开发者。

askmdb-9b-GGUF

manuelgscom · 工具包

根据西班牙语或英语的日常提问，写出只读的 MongoDB 聚合管道。这是 Qwen3.5-9B 微调版的 GGUF 副本，可用 llama.cpp 在本地运行，适合想用日常语言查询数据的开发者。

Qwopus3.8-27B-Flash-GGUF

Jackrong · 工具包

为长时间的智能体任务缩短推理时间、降低成本，是 Qwen3.8-27B 微调模型的 GGUF 版本。适合在自己机器上跑智能体循环、想让每一轮更快的人。

Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

Jackrong · 工具包

在 think 标签里一步步思考问题，是用推理链微调的 4B Qwen3.5 模型，以 GGUF 打包。适合想在自己电脑上运行小型推理模型的人。

Qwen3.8-Flash-Coder APEX-I-MiniPlus V2.1 GGUF

IsValorum · 工具包

一个仅支持英文的编程模型，GGUF 格式，42.6B 参数的混合专家量化版，约 21.8 GB，用于在 llama.cpp 或 LM Studio 里做代码补全、重构和智能体工具调用。

K2-Horizon-3.7B-GGUF

IFM · 工具包

3.7B 参数 K2-Horizon 文本模型的 GGUF 文件，提供从 BF16 到 Q4_K_M 的六种精度，用于 llama.cpp 运行。模型有 512K token 的上下文窗口。

granite-4.2-8b GGUF

ibm-granite · 工具包

提供 IBM Granite 4.2 8B 模型的多种量化级别 GGUF 副本，可直接用于 llama.cpp。适合想在本地运行该模型、并从基础模型卡了解详情的人。

Granite-4.2-3B (GGUF)

ibm-granite · 工具包

把 IBM 的 Granite 4.2 3B 文本模型打包成 GGUF 文件，供本地使用。4 位权重估计约 1.8 GB，适合想要采用 Apache 2.0 许可的小型模型的人。

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

hesamation · 工具包

以四种量化大小的 GGUF 文件在你自己的机器上运行推理微调的 Qwen3.6-35B-A3B，训练数据是 Claude Opus 4.6 风格的推理数据。适合想在本地获得逐步推理回答的人。

phonon-31m English for llama.cpp

gradium · 工具包

在命令行或本地服务器上把英语文字转成语音，是 Phonon 31M 模型面向 llama.cpp 的 GGUF 版本。适合已经在用带 Phonon 支持的 llama.cpp 的开发者。

gemma-4-31B-it-qat-q4_0-gguf

google · 工具包

把 Google 的 Gemma 4 31B 指令微调模型做成 4-bit GGUF 文件来运行，能读取文字和图片并用文字回答。适合有消费级显卡或工作站的开发者和爱好者。