开发者 AI 技能与智能体

Ornith-1.5-122B-GGUF

unsloth · 工具包

在你自己的机器上运行 Ornith-1.5-122B 文本模型，由 unsloth 制作成 GGUF 文件。这是一个 122B 混合专家模型，面向单块 GPU 上的编程和智能体工作。

Qwen2.5-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5 1.5B 小型对话模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本或普通 GPU 上运行。适合想要轻量本地助手的人。

Qwen3.5-0.8B-weight-space-programming-GGUF

prithivMLmods · 工具包

一个小型 Qwen3.5 0.8B 模型的 GGUF 版本，它的权重被直接修改以减少推理循环。适合想用多种量化大小在本地运行它的人。

Ornith-1.5-35B-A3B-GSQ-RCO-GGUF

pfeifferj · 工具包

把 Ornith-1.5-35B-A3B 文本模型压缩成 3 位和 3.5 位的 GGUF 文件，约 13 GB 和 15 GB，而不是 69 GB，适合用 llama.cpp 运行本地模型的人。

DeepSeek-V4.1-Flash-1017 Maya GGUF

peasantsmith · 工具包

通过为 Project Maya 制作的两种 GGUF 量化版本，在家用电脑上运行 748B 的 DeepSeek 混合专家模型。适合有大内存机器和高速 SSD 的人。

MiniCPM5-2B-GGUF

openbmb · 工具包

提供 MiniCPM5-2B 的 GGUF 文件，这是一个支持中英文的小型稠密文本模型，适合在设备上和本地使用。适合想在普通硬件上用紧凑模型做编程、数学和工具调用的人。

ttf-Qwen3.8-Flash-Next-GGUF

oguzeldereli · 工具包

用一个 40.4 GB 的 GGUF 文件运行被压成三值权重的 180B 混合专家模型 Qwen3.8-Flash-Next，比 FP8 版本小 4.6 倍。适合配合打过补丁的 llama.cpp 在本地使用。

ttf-Qwen3.8-27B-GGUF

oguzeldereli · 工具包

把 Qwen3.8-27B 压缩成三值权重的 GGUF 文件，可在 12 GB 显卡上运行，有 8.2 GB 和 6.74 GB 两个版本。适合想在普通硬件上跑大型本地模型的人。

Hermes-3-Llama-3.1-8B-GGUF

NousResearch · 工具包

把 NousResearch 的 8B 通用聊天模型 Hermes 3 做成量化 GGUF 文件，供 llama.cpp 使用。适合想在本机用函数调用、结构化输出和代码帮助的人。

AREX-2-i1-GGUF

mradermacher · 工具包

BAAI/AREX-2（一个 26.9B 的视觉模型）的加权 GGUF 量化版本，约有两打尺寸，从 7.2 GB 到 22.2 GB，另有一个用来制作你自己量化版本的 imatrix 文件。由 mradermacher 制作。

LFM2.5-8B-A1B-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF

DavidAU · 工具包

LiquidAI 的稀疏混合专家模型 LFM2.5-8B-A1B 的 GGUF 版本，加入 DavidAU 的 Turbo Brilliance 系统和 12 种推理模式。8.5B 的实验性发布，供本地运行。

LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF

DavidAU · 工具包

LiquidAI 的 LFM2.5-2.6B 的 GGUF 版本，加入 DavidAU 的 Turbo Brilliance 系统，有 12 种推理模式和 12 种指令模式，在提示词里切换。2.7B 测试版，供本地运行。

Qwen3.8-27B-GGUF

bartowski · 工具包

bartowski 制作的 Qwen3.8-27B 的一组 GGUF 量化版本，从 Q8_0 到 3-bit，用重要性矩阵生成。适合在本地用 llama.cpp 运行 27B 视觉语言模型的人。

Jackrong_Qwopus3.8-27B-Coder-Flash-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Jackrong 的 Qwopus3.8-27B-Coder-Flash 制作的 GGUF 量化版本，大小从 17 GB 到 55 GB。适合在本地用 llama.cpp 运行 27B 模型。

Qwen3.5-9B-MTP-GGUF

unsloth · 工具包

Qwen3.5 9B 的 GGUF 版本，支持在 llama.cpp 里用多词元预测做推测解码，生成更快。适合会自己构建 llama.cpp、想在本地运行这个模型的人。

Qwen3.5-0.8B-GGUF

unsloth · 工具包

unsloth 制作的 Qwen3.5-0.8B 小型 GGUF 版本，能读图片和文字并用文字回答。适合在本地做原型、微调和研究。

gpt-oss-20b-GGUF

unsloth · 工具包

在你自己的电脑上运行 OpenAI 开放权重的 gpt-oss-20b 推理模型，由 unsloth 打包成 GGUF 文件。适合想要本地模型、并能调节推理强度的开发者。

Qwen3.8-27B-1C

sweetand · 工具包

帮助 1C:Enterprise 平台上的开发者读取和修改 BSL 代码，并在 XML 导出里查找对象。这是以俄语为主的 Qwen3.8-27B 微调版本，这里提供 GGUF 格式。

Wan2.2-I2V-A14B-GGUF

QuantStack · 工具包

提供 Wan2.2-I2V-A14B 的 GGUF 文件，这是一个把静态图片变成视频的 14B 模型，可在 ComfyUI 里配合 ComfyUI-GGUF 节点使用。适合在家用 GPU 上做短视频的人。

Bonsai-27B-gguf

prism-ml · 工具包

把 27B 级推理模型做成约 3.9 GB 的 1-bit GGUF 文件，在 llama.cpp 上运行，笔记本或一张显卡就能放下。适合想在日常硬件上做本地推理的人。