开发者 AI 技能与智能体

Swift 1.5 Ornith 9B GGUF

ukisai · 工具包

以 llama.cpp 用的 GGUF 量化版本运行 Swift 1.5 Ornith 9B，这是一个调校成用更少 token 思考的推理模型。适合在自己机器上运行 9B 推理模型的人。

Nanbeige4.3-33B-INT4

Nanbeige · 工具包

Nanbeige4.3-33B 的 INT4 量化版，这是一个面向编程和专业智能体任务的 33B 模型，用量化感知训练制成。适合想用更少内存运行强大开放智能体模型的开发者。

GLM-5.3-Flash EXL3 4bpw for TensorFold

Mia-AiLab · 工具包

为 TensorFold 准备的 GLM-5.3-Flash 4 位 EXL3 量化版，在大小相同的情况下 KL 散度低于流行的 TR3-4bpw 量化版。适合在 DGX Spark 机器上部署大模型的人。

Qwen3.8-27B-oQ4e-mtp

Jundot · 工具包

在 MLX 上以约 17.5 GB 运行 27B 的 Qwen3.8 视觉语言模型，能读取文字、图片和视频，上下文为 262,144 个 token。这是 Jundot 的混合精度量化版本，适合内存有限的人。

granite-4.2-8b GGUF

ibm-granite · 工具包

提供 IBM Granite 4.2 8B 模型的多种量化级别 GGUF 副本，可直接用于 llama.cpp。适合想在本地运行该模型、并从基础模型卡了解详情的人。

Qwen3.5-4B GGUF

bartowski · 工具包

Qwen3.5-4B 的 imatrix GGUF 量化版本，这是一个带 MTP 层的 4.3B 图文模型，4 位文件约 3 GB。适合在本地运行小模型的人。

Llama-3.2-1B-Instruct GGUF

bartowski · 工具包

Llama-3.2-1B-Instruct 的 GGUF 量化版本，这是一个支持八种语言的 1.2B 文本模型，4 位文件约 0.8 GB。适合运行微型本地模型的人。

Cloudflare clef GGUF

bartowski · 工具包

Cloudflare 的 clef 决策模型的静态 GGUF 量化版本，它不写文字，而是一次性为关于某个状态的类型化问题的每个选项打分。适合用 llama.cpp 运行它的开发者。

GLM-5.3-Flash EXL3 3.05bpw

albucino · 工具包

在两块 RTX 3090 和 128 GB 内存上本地运行 GLM-5.3-Flash，支持 262,144 词元的上下文，使用经过校验的 3.05 bpw EXL3 量化版本。适合在家里托管大模型的人。

Qwen3.8-27B-SLQ-GGUF

kaitchup · 工具包

用自定义的统计无损量化，把 Qwen3.8-27B 压成三个体积和保真度各不相同的 GGUF 文件。适合在 llama.cpp 里本地运行这个模型的人。

Qwen3.8-27B-AWQ-INT4

cyankiwi · 工具包

cyankiwi 制作的 Qwen3.8-27B 4-bit AWQ 量化版本，一个带思考控制的 27B 视觉语言模型。权重为 21.02 GB，可在 Transformers、vLLM 或 SGLang 中加载。

Qwen3.6-35B-A3B MTP GGUF

byteshape · 工具包

用带多词元预测的 GGUF 量化版本运行 Qwen3.6-35B-A3B，在 llama.cpp 里让 GPU 解码更快。由 ByteShape 制作，适合在显卡上运行本地模型的人。

Llama-3.2-3B-Instruct-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Meta 的 Llama-3.2-3B-Instruct 制作的 GGUF 量化版本，大小约从 1.8 GB 到 6.4 GB。适合用 llama.cpp 或 LM Studio 在本地运行小型聊天模型。

KAT-Coder-V2.5-Dev GGUF

bartowski · 工具包

Kwaipilot 的 KAT-Coder-V2.5-Dev 的 imatrix GGUF 量化版本，这是一个 34.7B 文本模型，4 位文件约 19 GB 起。适合在本地运行名字里带 Coder 的大模型的人。

Qwen2.5-Coder-14B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5-Coder 14B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 辅助写代码。适合有好 GPU 或大内存机器、想要更强本地代码助手的开发者。

Qwen2.5-Coder-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5-Coder 1.5B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本上辅助写代码。适合想要轻量本地代码助手的开发者。

Qwen3.5-4B-GLB-3D-Coder-GGUF

mradermacher · 工具包

ccore/Qwen3.5-4B-GLB-3D-Coder（一个 4.2B 模型）的静态 GGUF 量化版本，大小从 2.0 GB 到 8.5 GB，另有两个小型多模态补充文件。由 mradermacher 制作。

Nanbeige4.3-33B-GGUF-UltraOptimised-Curated-Protium

SolsticeAI · 工具包

为 llama.cpp 和 Ollama 提供 33.1B 的 Nanbeige4.3 模型的 GGUF 量化文件，附带一套推理协议和最高 524,288 个词元的上下文。适合在本地运行编程模型的开发者。

Qwen2.5-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5 1.5B 小型对话模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本或普通 GPU 上运行。适合想要轻量本地助手的人。

DeepSeek-V4.1-Flash-1017 Maya GGUF

peasantsmith · 工具包

通过为 Project Maya 制作的两种 GGUF 量化版本，在家用电脑上运行 748B 的 DeepSeek 混合专家模型。适合有大内存机器和高速 SSD 的人。

AREX-2-i1-GGUF

mradermacher · 工具包

BAAI/AREX-2（一个 26.9B 的视觉模型）的加权 GGUF 量化版本，约有两打尺寸，从 7.2 GB 到 22.2 GB，另有一个用来制作你自己量化版本的 imatrix 文件。由 mradermacher 制作。

Qwen3.8-27B-GGUF

bartowski · 工具包

bartowski 制作的 Qwen3.8-27B 的一组 GGUF 量化版本，从 Q8_0 到 3-bit，用重要性矩阵生成。适合在本地用 llama.cpp 运行 27B 视觉语言模型的人。

Jackrong_Qwopus3.8-27B-Coder-Flash-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Jackrong 的 Qwopus3.8-27B-Coder-Flash 制作的 GGUF 量化版本，大小从 17 GB 到 55 GB。适合在本地用 llama.cpp 运行 27B 模型。

DeepSeek-V4.1-Flash-1017 EXL3 EAQ v1 2.9 bpw

Mia-AiLab · 工具包

DeepSeek-V4.1-Flash-1017 的 2.9 bits-per-weight EXL3 量化版本，能读取文本和图片。它把模型压缩到约 210 GB，供 exllamav3 运行时使用，模型卡还测量了它与原模型的贴近程度。

Qwen3.8-27B-GGUF

lmstudio-community · 工具包

Qwen 的 Qwen3.8-27B 的 GGUF 量化版本，由 LM Studio 团队用 llama.cpp 制作，适合在自己电脑上运行 27B 模型的人。

gemma-4-12B-it-qat-q4_0-gguf

google · 工具包

以 4-bit GGUF 文件运行 Google 的 Gemma 4 12B 指令微调模型，使用量化感知训练制作。能读取文本和图片，适合笔记本和消费级显卡。

Nanbeige_Nanbeige4.3-33B-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Nanbeige4.3-33B 制作的 GGUF 量化版本，大小约从 21 GB 到 66 GB。适合在本地用 llama.cpp 运行 33B 的中英文文本模型。

gemma-4-12B-it-qat-GGUF

unsloth · 工具包

Gemma 4 12B 的 GGUF 版本，经过量化感知训练，4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人，附带加快输出的草稿文件。

Qwen3.8-9B-Distill-GGUF

empero-ai · 工具包

Empero 的 Qwen3.8-9B 的 GGUF 量化版本，一个由更大的 Qwen3.8 蒸馏到 Qwen3.5-9B 架构里的推理模型，适用于 llama.cpp、Ollama、LM Studio 等工具。

Qwen2.5-Coder-7B-Instruct-GGUF

Qwen · 工具包

在你自己的电脑上运行 Qwen 的 7B 指令微调编程模型，打包成 GGUF 文件，有八种量化等级。适合想通过 llama.cpp 获得代码帮助的开发者。

DeepSeek-V4.1-Flash-1017-GGUF

unsloth · 工具包

Unsloth 制作的 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本，这是一个巨大的图文模型，可在 128 GB 或更多内存的机器上本地运行，适合自己运行大型开放模型的人。

LLM VRAM Calculator

donaldJJ · 工具包

估算 Hugging Face 模型在任意量化和上下文长度下需要多少显存，拆成权重、KV 缓存和额外开销，并显示哪些 GPU 容量够用。适合计划在本地运行大模型的人。

MLX Model Explorer

mlx-community · 工具包

帮 Mac 用户找到适合自己机器的 MLX 模型和量化版本，是一个静态页面，在任何浏览器里打开即可，不需要安装。