开发者 AI 技能与智能体

granite-4.2-8b GGUF

ibm-granite · 工具包

提供 IBM Granite 4.2 8B 模型的多种量化级别 GGUF 副本，可直接用于 llama.cpp。适合想在本地运行该模型、并从基础模型卡了解详情的人。

Granite-4.2-3B (GGUF)

ibm-granite · 工具包

把 IBM 的 Granite 4.2 3B 文本模型打包成 GGUF 文件，供本地使用。4 位权重估计约 1.8 GB，适合想要采用 Apache 2.0 许可的小型模型的人。

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

hesamation · 工具包

以四种量化大小的 GGUF 文件在你自己的机器上运行推理微调的 Qwen3.6-35B-A3B，训练数据是 Claude Opus 4.6 风格的推理数据。适合想在本地获得逐步推理回答的人。

phonon-31m English for llama.cpp

gradium · 工具包

在命令行或本地服务器上把英语文字转成语音，是 Phonon 31M 模型面向 llama.cpp 的 GGUF 版本。适合已经在用带 Phonon 支持的 llama.cpp 的开发者。

Qwen2.5-Coder-1.5B Q8_0 GGUF

ggml-org · 工具包

通过 llama.cpp 在你自己的机器上运行 Qwen2.5-Coder 1.5B 的 Q8_0 GGUF 文件，可以用命令行，也可以做成本地服务器。适合想用小型代码模型的开发者。

embeddinggemma-2 GGUF

ggml-org · 工具包

用 llama 命令或 Llama 应用运行 Google embeddinggemma-2 的 GGUF 副本，这是一个 271M 的特征提取模型。适合想在本地使用小型文本嵌入模型的开发者。

GLiNER2.5-multi-Decide

fastino · 工具包

按你在调用时传入的标签对文本分类，一次计算完成，不需要提示词模板。这是 287M 的模型，用于非英语文本的路由、意图、情感和审核。可在本地运行。

Qwen3-ASR-1.7B GGUF

cstr · 工具包

用 Qwen3-ASR-1.7B 的量化 GGUF 文件，在 CrispASR 里把语音、歌声和歌曲转成文字或英文。适合想在本地转写 30 种语言和 22 种中文方言的人。

Underdog-Woof-4B-1.1

ConwayResearch · 工具包

这是一个紧凑的 4.2B 文本生成模型，基于 Qwen 3 4B 后训练，更适配 Underdog 自己的配套环境，并量化为 4-bit MLX 格式。适合在非商业场景下运行小型本地模型的人。

SalamandraTA-7b-instruct

BSC-LT · 工具包

一个 7.8B 的翻译模型，支持 40 种语言和 3 种变体，可做句子、段落和文档翻译，也能处理 HTML 或 XML 文本。适合想要本地翻译器的开发者和研究人员。

Qwen3.5-4B GGUF

bartowski · 工具包

Qwen3.5-4B 的 imatrix GGUF 量化版本，这是一个带 MTP 层的 4.3B 图文模型，4 位文件约 3 GB。适合在本地运行小模型的人。

Llama-3.2-1B-Instruct GGUF

bartowski · 工具包

Llama-3.2-1B-Instruct 的 GGUF 量化版本，这是一个支持八种语言的 1.2B 文本模型，4 位文件约 0.8 GB。适合运行微型本地模型的人。

Qwen3.8-Whittle-MoE-27B-MLX-4bit

barozp · 工具包

面向 Apple Silicon 的 4 位 MLX 版本，来自从稠密的 Qwen3.8-27B 切出来的混合专家模型，总参数 27B，激活 17.8B。适合用 mlx-lm 运行本地模型的人。

MOSS-Image-SFT GGUF

axiomofmind · 工具包

MOSS-Image-SFT 扩散 Transformer 的非官方 GGUF 文件，有 Q8_0 和 Q4_K_S 两种，用 stable-diffusion.cpp 在本地做文字生成图像。需要另外准备 Qwen3.5-9B 编码器、分词器和 VAE。

Qwen3.5-35B-A3B-GGUF

unsloth · 工具包

在你自己的机器上读取文字和图片、编写代码并调用工具，使用 Unsloth 刷新后的 Qwen3.5 35B-A3B 视觉语言模型 GGUF 文件。适合运行本地智能体的开发者。

Hy-MT2-7B-GGUF

tencent · 工具包

在 33 种语言之间翻译文本并遵循翻译指令，是腾讯 7B 模型面向 llama.cpp 的 GGUF 版本。适合在本地运行翻译的开发者。

Hy-MT2-1.8B-GGUF

tencent · 工具包

在 33 种语言之间翻译文本并遵循翻译指令，是适用于 llama.cpp 的 1.8B GGUF 格式模型。适合想要一个小型本地翻译器的开发者。

Qwen2.5-0.5B-Instruct

Qwen · 工具包

作为最小的指令微调 Qwen2.5 模型回答对话提示，约 0.5B 参数。适合想要轻量本地模型来做对话、结构化输出和测试的开发者。

GLM-5.3-Flash EXL3 3.05bpw

albucino · 工具包

在两块 RTX 3090 和 128 GB 内存上本地运行 GLM-5.3-Flash，支持 262,144 词元的上下文，使用经过校验的 3.05 bpw EXL3 量化版本。适合在家里托管大模型的人。

Strata-Sage-A1.5-GGUF

ykarout · 工具包

为 Strata 推理引擎准备的 35B 模型 Sage-A1.5 的 Q4_K_M GGUF，能在 16 GB 显卡加 64 GB 内存上放下完整的 262K 上下文。适合在本地运行大模型的人。

Granite Speech 5.0 TurboCTC 470M GGUF

vladers · 工具包

把语音转成文字，支持七种语言，是 IBM Granite Speech 5.0 TurboCTC 470M 的量化 GGUF 版本，为 transcribe.cpp 制作。适合想加入本地听写或转录功能的开发者。

Unity Coder 7B

vishnuOI · 工具包

解答 Unity 游戏开发问题，编写 C# 脚本、XR 代码和编辑器工具，是 Qwen2.5-Coder-7B-Instruct 的微调版本。适合想要本地编码助手的 Unity 开发者。

Z-Image-Turbo-GGUF

unsloth · 工具包

Unsloth 制作的 Z-Image-Turbo 的 GGUF 文件，这是一个快速的蒸馏文生图模型，作者称它能放进 16 GB 的消费级 GPU。适合用支持 GGUF 的工具在本地生成图像的人。

Muse Glimmer 30B GGUF

unsloth · 工具包

在本地运行一个能读文字和图片、调用工具并在调用失败后重试的 30B 智能体模型，使用 Unsloth 的 GGUF 文件。适合在消费级硬件上构建本地智能体的开发者。

gemma-4-31B-it-qat-GGUF

unsloth · 工具包

用 Unsloth 的 4 比特 QAT GGUF 文件运行 Google 的 Gemma 4 31B 指令模型，自带用于推测解码的草稿模型，可在 llama.cpp 中加速。适合在本地部署大型多模态模型的人。

faster-whisper-small

Systran · 工具包

转换成 CTranslate2 格式的 Whisper small，供 faster-whisper 转写音频。适合想在 Python 里本地做语音转文字的开发者。

Flint NVFP4 GGUF

RecursiveSI · 工具包

Recursive Flint 文本模型的 4-bit NVFP4 单文件 GGUF 版本，通过 llama.cpp 在 NVIDIA GPU 上运行。适合用 pi 或 OpenCode 在本地跑大模型的开发者。

Qwen3-1.7B-GGUF

Qwen · 工具包

提供 Qwen3 1.7B 小型对话模型的 q8_0 GGUF 文件，供 llama.cpp 使用，可在思考与非思考回复之间切换。适合想要轻量本地助手的人。

Xiaomi-OCR-0-GGUF

prithivMLmods · 工具包

提供 Xiaomi-OCR-0 的 GGUF 文件，这是一个用来读取文档和图片文字的 0.8B 紧凑视觉语言模型，大小从约 466 MB 到 1.52 GB。适合配合 llama.cpp 做本地 OCR。

Bonsai-1.7B-GGUF

prism-ml · 工具包

用一个每个权重只占 1 比特、约 0.24 GB 的 1.7B 语言模型生成文本，适用于 CUDA、Metal 和 CPU 上的 llama.cpp。适合需要微型本地模型的开发者。

Laguna XS 2.1

poolside · 工具包

用一个 33B 的混合专家模型写代码、完成需要调用工具的长编程任务，每个词元只激活 3B 参数。适合在本地运行编程智能体的开发者。

Ornith-1.0-9B-GGUF

ornith-ai · 工具包

一个 9B 开源编码智能体模型的 GGUF 副本，用强化学习训练它写出解决方案和围绕方案的脚手架。适合在本地运行智能体、使用单块 GPU 的开发者。

MOSS-TTS-Nano

OpenMOSS-Team · 工具包

用一个只有 0.1B 参数、可以在 CPU 上运行的小模型把文字转成语音，支持声音克隆，覆盖 20 种语言。适合给本地或网页应用加上语音的开发者。

MiniCPM-V-4.7-1B-gguf

openbmb · 工具包

通过 llama.cpp 运行 1B 视觉语言模型，回答关于图片的文字提示词。提供多种量化大小的 GGUF 文件，适合想要小型本地模型的开发者和爱好者。

Qwen3.8-27B-CodeForge-3xMerge i1 GGUF

mradermacher · 工具包

Qwen3.8-27B-CodeForge-3xMerge 模型的重要性矩阵 GGUF 量化版，大小约 11 GB 到 22.5 GB，用于本地运行。适合在自己电脑上运行 27B 模型的人。

Qwen3.6-35B-A3B-8bit (MLX)

mlx-community · 工具包

Qwen3.6-35B-A3B 的 8 位 MLX 转换版，能读文字和图像并用文字回答，用 mlx-vlm 工具运行。适合想在本地运行大型视觉语言模型的开发者。

Qwen3.5-9B-OptiQ-4bit

mlx-community · 工具包

Qwen3.5-9B 的 4-bit 混合精度 MLX 版本，用于在 Apple Silicon 上本地生成文本，自带多词元预测头。适合在 Mac 上本地运行模型的人。

Tess-4.5-27B GGUF

migtissera · 工具包

Tess-4.5 的 GGUF 版本，这是一个 27B 开放权重的编程和智能体模型，供 llama.cpp 使用，带视觉投影器和可选的草稿头来加快生成。适合在本地运行模型的人。

GLM-5.3-Flash EXL3 3.5bpw

Mia-AiLab · 工具包

GLM-5.3-Flash 的 EXL3 量化版，156 GB，路由专家更窄，比同一实验室的 4 位版本小约 11%。适合在本地 GPU 上运行大模型的人。

Qwen3.6-35B-A3B lododo-Distill-v1.0 (GGUF)

lododoai · 工具包

一个可在本地运行的文本模型，是 Qwen3.6-35B-A3B 的微调版本，用 Qwen3.8-27B 生成的数据训练，打包成适用于 llama.cpp 的单个 GGUF 文件。适合在自己机器上跑模型做代码和工具调用的人。

Slonik-27B-oQ8-mtp

kakoka · 工具包

用一个 27B 编码模型帮你编写和修改 PostgreSQL 源代码，8 位量化，可通过 oMLX 在 Apple Silicon Mac 上本地运行。适合想要本地助手的 PostgreSQL 开发者。

Qwen3.8-27B-SLQ-GGUF

kaitchup · 工具包

用自定义的统计无损量化，把 Qwen3.8-27B 压成三个体积和保真度各不相同的 GGUF 文件。适合在 llama.cpp 里本地运行这个模型的人。

Qwen3.8-27B-oQ6e-mtp

Jundot · 工具包

Qwen3.8-27B 的混合精度 MLX 副本，约每个权重 6.9 位，包含视觉编码器和多词元预测头，可在 Apple 芯片上本地运行。

Qwen3.6-35B-A3B-oQ6e-mtp

Jundot · 工具包

Qwen3.6-35B-A3B 的混合精度 MLX 副本，约每个权重 6.8 位，包含视觉编码器和多词元预测头，可在 Apple 芯片上本地运行。

Spark-X2.6-4B-AgentFast

JamieBradfield · 工具包

几乎没有思考延迟地调用工具并遵循指令，是 Spark-X2.6-4B 的 4.1B 微调模型。适合构建需要快速、直接调用工具的本地智能体的人。

Qwopus3.8-27B-Flash-V2-GGUF

Jackrong · 工具包

减少长时间智能体任务里被浪费的推理，是 Qwen3.8-27B 第二版 Flash 微调模型的 GGUF 版本，Python 格式更好。适合在本地跑智能体循环的人。

Ling-3.0-tiny-GGUF

inclusionAI · 工具包

inclusionAI 的 Ling-3.0-tiny 的 GGUF 副本。这是一个小型混合专家推理模型，总参数 7.9B，激活参数 1.3B，适合低成本本地运行。

K2-Horizon-7B-GGUF

IFM · 工具包

IFM 的 K2-Horizon-7B 文本模型的量化 GGUF 副本，可在 llama.cpp 中本地运行，从 BF16 到 4 位都有，上下文窗口为 512K 词元。

phonon-31m English for audio.cpp

gradium · 工具包

在 CPU 上用 31M 的文字转语音模型朗读英语文本，提供 GGUF 格式，供 audio.cpp 运行时使用。适合想要小型本地语音模型的开发者。

Qwen3-Reranker-0.6B-Q8_0-GGUF

ggml-org · 工具包

按与查询的相关度给段落排序，是 Qwen3 0.6B 重排序模型的 8-bit GGUF 副本，用 llama.cpp 制作。适合想要小型本地重排序模型来做搜索的开发者。