开发者 AI 技能与智能体

Qwen2.5-Coder-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5-Coder 1.5B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本上辅助写代码。适合想要轻量本地代码助手的开发者。

Qwen3.5-4B-GLB-3D-Coder-GGUF

mradermacher · 工具包

ccore/Qwen3.5-4B-GLB-3D-Coder（一个 4.2B 模型）的静态 GGUF 量化版本，大小从 2.0 GB 到 8.5 GB，另有两个小型多模态补充文件。由 mradermacher 制作。

AREX-2 GGUF

mradermacher · 工具包

BAAI 的 AREX-2（26.9B）的 GGUF 量化文件，从 2 位到 8 位，另有可选的多模态补充文件。适合在本地运行大模型、想挑一个放得进自己内存的尺寸的人。

Kromoss GGUF

molbal · 工具包

Kromoss 的 GGUF 量化副本，Kromoss 是基于 MOSS-Image-Base 微调的 1024 像素文生图模型，用于 ComfyUI。适合想在显存有限的 GPU 上生成图像的画师。

Mellum2.1-12B-A2.5B-Thinking-GGUF

JetBrains · 工具包

在 llama.cpp、Ollama 或 LM Studio 里本地运行 JetBrains 的 12B 推理模型，有五种 GGUF 大小可选。适合想在自己电脑上用上下文为 131,072 个 token 的思考模型的开发者。

Axion-1.0-35B-APEX-I-MiniPlus-V2.1-GGUF

IsValorum · 工具包

用一个混合精度的压缩 GGUF 文件，在 llama.cpp 里本地运行 35B 的 Axion-1.0 模型。这是 IsValorum 的量化版本，适合想在自己硬件上运行大型混合专家模型的人。

gpt-oss-20b-GGUF

ggml-org · 工具包

在你自己的电脑上生成文字，使用 ggml-org 打包的 OpenAI gpt-oss-20b 的 GGUF 版本。适合想在 Llama 应用或终端里本地运行开源 20B 模型的人。

Qwen3.8-27B-Ridge-GGUF

empero-ai · 工具包

把 Qwen3.8-27B 压缩成每权重 3.7 位的 GGUF 文件来运行，适合 16 GB 的 GPU，还可选图像输入。适合用 llama.cpp、Ollama 或 LM Studio 在本地跑模型的人。

Qwen3.6-35B-A3B 2-bit GSQ GGUF

chtisgit · 工具包

用 2-bit GSQ 的 GGUF 转换版运行 35B 的 Qwen 模型，另配一个单独的视觉投影器，供 llama.cpp 使用。适合想在 CPU 或普通显卡上用小文件跑大模型的人。

Qwen3.6-35B-A3B GGUF (ShapeLearn Quantized)

byteshape · 工具包

Qwen3.6-35B-A3B 的量化 GGUF 版本，能读图片和文字，有从约 9 GB 起的 CPU 和 GPU 变体，用 ByteShape 的 ShapeLearn 制作。适合运行 llama.cpp 的开发者。

Spark-X2.6-4B GGUF

bartowski · 工具包

支持中英文的小型聊天模型，GGUF 文件从完整 bf16 到约 2.4 GB，供 llama.cpp 使用，有低或高两档思考设置。适合想要紧凑本地助手的开发者。

Qwen3.6-35B-A3B-coding-reap50-GGUF

anik-jha · 工具包

用砍掉一半专家的 Qwen3.6-35B-A3B 写代码，打包成适用于 llama.cpp 的 GGUF 文件。适合想要比完整模型占用更少内存的编程模型的开发者。

Spark-X2.6-4B-DSpark-GGUF

XHToken · 工具包

作为推测解码的小型草稿模型，为 Spark-X2.6-4B 加速文本生成，提供 GGUF 格式。适合用 llama.cpp 在本地运行该模型的人。

Qwen3.5-2B-GGUF

unsloth · 工具包

unsloth 制作的 Qwen3.5-2B 小型 GGUF 版本，能读图片和文字并用文字回答。适合在本地做原型、微调和研究。

Nanbeige4.3-33B-GGUF-UltraOptimised-Curated-Protium

SolsticeAI · 工具包

为 llama.cpp 和 Ollama 提供 33.1B 的 Nanbeige4.3 模型的 GGUF 量化文件，附带一套推理协议和最高 524,288 个词元的上下文。适合在本地运行编程模型的开发者。

Wan2.2 TI2V 5B GGUF

QuantStack · 工具包

一个 5B 参数的文字生成视频模型，转换成 GGUF 供 ComfyUI 使用，4 比特下估计约 2.5 GB，支持英文和中文提示词。适合想在自己电脑上生成视频的 ComfyUI 用户。

Ornith-1.5-122B-GGUF

unsloth · 工具包

在你自己的机器上运行 Ornith-1.5-122B 文本模型，由 unsloth 制作成 GGUF 文件。这是一个 122B 混合专家模型，面向单块 GPU 上的编程和智能体工作。

Qwen2.5-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5 1.5B 小型对话模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本或普通 GPU 上运行。适合想要轻量本地助手的人。

Qwen3.5-0.8B-weight-space-programming-GGUF

prithivMLmods · 工具包

一个小型 Qwen3.5 0.8B 模型的 GGUF 版本，它的权重被直接修改以减少推理循环。适合想用多种量化大小在本地运行它的人。

Ornith-1.5-35B-A3B-GSQ-RCO-GGUF

pfeifferj · 工具包

把 Ornith-1.5-35B-A3B 文本模型压缩成 3 位和 3.5 位的 GGUF 文件，约 13 GB 和 15 GB，而不是 69 GB，适合用 llama.cpp 运行本地模型的人。