开发者 AI 技能与智能体

Laya-GGUF

ggml-org · 工具包

一个 4.21 亿参数的小型决策模型，GGUF 格式，在本地提供服务，通过 systemone API 调用。适合使用 llama.cpp 工具、想要紧凑分类器的开发者。

Kev-4B

ggml-org · 工具包

通过 llama 服务的 /v1/systemone API 做决策，来自一个 4.2B 模型的 GGUF 副本。适合想要小型本地决策模型的开发者。

gemma-4-E4B-it-GGUF

ggml-org · 工具包

Google gemma-4-E4B-it 的 GGUF 格式副本，可以用 Llama 应用或 llama serve 命令在你自己的电脑上运行，适合想在本地运行 Gemma 的人。

gemma-4-12B-it GGUF

ggml-org · 工具包

通过 Llama 应用或 llama 命令，在你自己的电脑上运行 Google 的 gemma-4-12B-it，文件是 ggml-org 自动转换的 GGUF。适合在本地运行模型的人。

POCKET-35B-GGUF

FINAL-Bench · 工具包

用 llama.cpp 从 GGUF 文件在你自己的电脑上运行针对韩语调优的 35B 模型，有纯 CPU 路径，不需要 GPU。适合想在本地使用语言模型的人。

GLiNER2.5 Multi

fastino · 工具包

用一个多语言模型从文本中提取实体、标签、结构化记录和关系。这是 fastino 的 287M 参数提取器，可在 CPU、CUDA 或 MPS 上本地运行，适合构建文本流水线的开发者。

KVARK Sparkle 1.1 27B GGUF

Egzakta · 工具包

用多种大小的 GGUF 文件运行 27B 的 KVARK Sparkle 1.1 模型，可选图像输入和推测解码。适合用 llama.cpp、Ollama 或 LM Studio 在本地跑模型的人。

Kvark-Sparkle-1.0-27B-GGUF

Egzakta · 工具包

KVARK Sparkle 1.0 这个 27B 视觉语言模型的 GGUF 文件，适用于 llama.cpp、Ollama 和 LM Studio，保留了推测解码头。适合在本地运行大模型的人。

Qwen3.8-27B-Jumbo-Fusion-IQ-747-900-Turbo-Brilliance-50X

DavidAU · 工具包

DavidAU 对 27B Qwen 模型的 GGUF 微调版，有可切换的指令和推理模式，以及内置的帮助系统。Hugging Face 把它列为图文转文字。供本地运行。

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF

DavidAU · 工具包

回答问题并读取图像，思考过程短得多。这是 DavidAU 对 27B 的 Qwen 3.8 的调优版 GGUF，目标是在保持准确度的同时减少推理 token，适合在本地运行模型的人。

Maximizing Model Performance 指南

DavidAU · 工具包

指导你为本地语言模型调节采样器和参数，并给出在 LM Studio、SillyTavern、Ollama 和 Koboldcpp 里设置系统提示词、推理模型和专家数量的步骤。

Qwen3.8-27B iMatrix NVFP4 MTP GGUF

cdiamond · 工具包

Qwen3.8-27B 的 17.1 GB 混合精度 GGUF，保留了多词元预测层，为 24 GB GPU 上的 256K 上下文和视觉功能调优。适合在 llama.cpp 里本地运行大模型的人。

Qwen3.6-35B-A3B MTP GGUF

byteshape · 工具包

用带多词元预测的 GGUF 量化版本运行 Qwen3.6-35B-A3B，在 llama.cpp 里让 GPU 解码更快。由 ByteShape 制作，适合在显卡上运行本地模型的人。

Meta-Llama-3.1-8B-Instruct-GGUF

bartowski · 工具包

Meta Llama 3.1 8B Instruct 的量化 GGUF 文件，用于本地聊天，例如 Q4_K_M 为 4.92 GB，Q8_0 为 8.54 GB。由 bartowski 用重要性矩阵制作。涵盖 8 种语言，可在 LM Studio 中运行。

Llama-3.2-3B-Instruct-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Meta 的 Llama-3.2-3B-Instruct 制作的 GGUF 量化版本，大小约从 1.8 GB 到 6.4 GB。适合用 llama.cpp 或 LM Studio 在本地运行小型聊天模型。

KAT-Coder-V2.5-Dev GGUF

bartowski · 工具包

Kwaipilot 的 KAT-Coder-V2.5-Dev 的 imatrix GGUF 量化版本，这是一个 34.7B 文本模型，4 位文件约 19 GB 起。适合在本地运行名字里带 Coder 的大模型的人。

Spark-X2.6-1.7B-DSpark-GGUF

XHToken · 工具包

一个小型草稿模型，通过推测解码加速 Spark-X2.6-1.7B，每步最多猜 7 个 token。适合在支持它的 llama.cpp 构建上本地运行该模型的人。

gemma-4-E2B-it-GGUF

unsloth · 工具包

Unsloth 制作的 Google DeepMind Gemma 4 E2B 指令微调模型的 GGUF 文件，接收文本和图像并输出文本，上下文为 128K。适合在笔记本和小型机器上本地运行模型的人。

gemma-3-4b-it-GGUF

unsloth · 工具包

在你自己的电脑上回答关于文字和图片的问题，是 Unsloth 打包的 Google Gemma 3 4B 指令模型的 GGUF 副本。适合想用小型本地模型的开发者和用户。

OmniVoice GGUF

Serveurperso · 工具包

提供 OmniVoice 文字转语音模型的 GGUF 权重，配合 omnivoice.cpp 运行时使用，附带声音设计和声音克隆示例。适合想在本地生成多语言语音的开发者。