开发者 AI 技能与智能体

DeepSeek-V4.1-Flash-1017 Maya GGUF

peasantsmith · 工具包

通过为 Project Maya 制作的两种 GGUF 量化版本，在家用电脑上运行 748B 的 DeepSeek 混合专家模型。适合有大内存机器和高速 SSD 的人。

MiniCPM5-2B-GGUF

openbmb · 工具包

提供 MiniCPM5-2B 的 GGUF 文件，这是一个支持中英文的小型稠密文本模型，适合在设备上和本地使用。适合想在普通硬件上用紧凑模型做编程、数学和工具调用的人。

ttf-Qwen3.8-Flash-Next-GGUF

oguzeldereli · 工具包

用一个 40.4 GB 的 GGUF 文件运行被压成三值权重的 180B 混合专家模型 Qwen3.8-Flash-Next，比 FP8 版本小 4.6 倍。适合配合打过补丁的 llama.cpp 在本地使用。

ttf-Qwen3.8-27B-GGUF

oguzeldereli · 工具包

把 Qwen3.8-27B 压缩成三值权重的 GGUF 文件，可在 12 GB 显卡上运行，有 8.2 GB 和 6.74 GB 两个版本。适合想在普通硬件上跑大型本地模型的人。

Hermes-3-Llama-3.1-8B-GGUF

NousResearch · 工具包

把 NousResearch 的 8B 通用聊天模型 Hermes 3 做成量化 GGUF 文件，供 llama.cpp 使用。适合想在本机用函数调用、结构化输出和代码帮助的人。

AREX-2-i1-GGUF

mradermacher · 工具包

BAAI/AREX-2（一个 26.9B 的视觉模型）的加权 GGUF 量化版本，约有两打尺寸，从 7.2 GB 到 22.2 GB，另有一个用来制作你自己量化版本的 imatrix 文件。由 mradermacher 制作。

LFM2.5-8B-A1B-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF

DavidAU · 工具包

LiquidAI 的稀疏混合专家模型 LFM2.5-8B-A1B 的 GGUF 版本，加入 DavidAU 的 Turbo Brilliance 系统和 12 种推理模式。8.5B 的实验性发布，供本地运行。

LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF

DavidAU · 工具包

LiquidAI 的 LFM2.5-2.6B 的 GGUF 版本，加入 DavidAU 的 Turbo Brilliance 系统，有 12 种推理模式和 12 种指令模式，在提示词里切换。2.7B 测试版，供本地运行。

Qwen3.8-27B-GGUF

bartowski · 工具包

bartowski 制作的 Qwen3.8-27B 的一组 GGUF 量化版本，从 Q8_0 到 3-bit，用重要性矩阵生成。适合在本地用 llama.cpp 运行 27B 视觉语言模型的人。

Jackrong_Qwopus3.8-27B-Coder-Flash-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Jackrong 的 Qwopus3.8-27B-Coder-Flash 制作的 GGUF 量化版本，大小从 17 GB 到 55 GB。适合在本地用 llama.cpp 运行 27B 模型。

Qwen3.5-9B-MTP-GGUF

unsloth · 工具包

Qwen3.5 9B 的 GGUF 版本，支持在 llama.cpp 里用多词元预测做推测解码，生成更快。适合会自己构建 llama.cpp、想在本地运行这个模型的人。

Qwen3.5-0.8B-GGUF

unsloth · 工具包

unsloth 制作的 Qwen3.5-0.8B 小型 GGUF 版本，能读图片和文字并用文字回答。适合在本地做原型、微调和研究。

gpt-oss-20b-GGUF

unsloth · 工具包

在你自己的电脑上运行 OpenAI 开放权重的 gpt-oss-20b 推理模型，由 unsloth 打包成 GGUF 文件。适合想要本地模型、并能调节推理强度的开发者。

Qwen3.8-27B-1C

sweetand · 工具包

帮助 1C:Enterprise 平台上的开发者读取和修改 BSL 代码，并在 XML 导出里查找对象。这是以俄语为主的 Qwen3.8-27B 微调版本，这里提供 GGUF 格式。

Wan2.2-I2V-A14B-GGUF

QuantStack · 工具包

提供 Wan2.2-I2V-A14B 的 GGUF 文件，这是一个把静态图片变成视频的 14B 模型，可在 ComfyUI 里配合 ComfyUI-GGUF 节点使用。适合在家用 GPU 上做短视频的人。

Bonsai-27B-gguf

prism-ml · 工具包

把 27B 级推理模型做成约 3.9 GB 的 1-bit GGUF 文件，在 llama.cpp 上运行，笔记本或一张显卡就能放下。适合想在日常硬件上做本地推理的人。

Sharp-Spark-X2.5-4B-GGUF

peculiar-ragdoll · 工具包

4B 编程模型 Spark-X2.5 的压缩 GGUF 版本，针对约 6 GB 显存的 GPU 调整了长上下文。适合想在小硬件上本地运行编程模型的开发者。

Qwen3.8-27B-GGUF

lmstudio-community · 工具包

Qwen 的 Qwen3.8-27B 的 GGUF 量化版本，由 LM Studio 团队用 llama.cpp 制作，适合在自己电脑上运行 27B 模型的人。

Raon-1 mini (GGUF)

KRAFTON · 工具包

在 llama.cpp 中运行一个 28.8B 的混合专家模型，针对韩语对话、推理和调用工具的智能体做过优化。这是 Raon-1 mini preview 的 GGUF 版本，适合在自己电脑上运行模型的人。

gemma-4-12B-it-qat-q4_0-gguf

google · 工具包

以 4-bit GGUF 文件运行 Google 的 Gemma 4 12B 指令微调模型，使用量化感知训练制作。能读取文本和图片，适合笔记本和消费级显卡。