开发者 AI 技能与智能体

gemma-4-31B-it-scotoma-2-GGUF

ReadyArt · 工具包

这个模型是 ReadyArt 从自家 gemma-4-31B-it-scotoma-2 打包出来的 GGUF 版本，参数量 30.7B，可在本地运行。适合想以 GGUF 形式使用这个模型的人。

Qwen3-4B-GGUF

Qwen · 工具包

一个 4B 的 GGUF 聊天模型，可在 llama.cpp 或 ollama 里本地运行，有用于推理的思考模式和用于快速回复的普通模式。适合使用普通电脑的开发者和爱好者。

Qwen2.5-Coder-14B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5-Coder 14B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 辅助写代码。适合有好 GPU 或大内存机器、想要更强本地代码助手的开发者。

Qwen2.5-Coder-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5-Coder 1.5B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本上辅助写代码。适合想要轻量本地代码助手的开发者。

Kokoro-82M-v1.0-ONNX

onnx-community · 工具包

用 Kokoro 把英文文本转成语音，这是一个 8200 万参数、打包成 ONNX 文件的文字转语音模型，可在 JavaScript 和 Python 中使用。适合想在应用里加一个小型本地语音的开发者。

AREX-2 GGUF

mradermacher · 工具包

BAAI 的 AREX-2（26.9B）的 GGUF 量化文件，从 2 位到 8 位，另有可选的多模态补充文件。适合在本地运行大模型、想挑一个放得进自己内存的尺寸的人。

Mellum2.1-12B-A2.5B-Thinking-GGUF

JetBrains · 工具包

在 llama.cpp、Ollama 或 LM Studio 里本地运行 JetBrains 的 12B 推理模型，有五种 GGUF 大小可选。适合想在自己电脑上用上下文为 131,072 个 token 的思考模型的开发者。

Axion-1.0-35B-APEX-I-MiniPlus-V2.1-GGUF

IsValorum · 工具包

用一个混合精度的压缩 GGUF 文件，在 llama.cpp 里本地运行 35B 的 Axion-1.0 模型。这是 IsValorum 的量化版本，适合想在自己硬件上运行大型混合专家模型的人。

Kokoro-82M-v1.1-zh

hexgrad · 工具包

用一个 82M 参数的文字转语音模型朗读英文和中文文本。这是在 Kokoro 上做的一次短期训练，加入了 100 位中文说话人，适合想要小型本地声音的开发者。

gpt-oss-20b-GGUF

ggml-org · 工具包

在你自己的电脑上生成文字，使用 ggml-org 打包的 OpenAI gpt-oss-20b 的 GGUF 版本。适合想在 Llama 应用或终端里本地运行开源 20B 模型的人。

Qwen3.8-27B-Randean-MXFP4

flechin · 工具包

一个 27B 推理模型，经过微调后倾向于直接回答而不是含糊其辞，并量化为 MXFP4，让 vLLM 能在单块 32 GB GPU 上提供服务，适合运行本地推理和工具调用模型的开发者。

Qwen3.8-27B-Ridge-GGUF

empero-ai · 工具包

把 Qwen3.8-27B 压缩成每权重 3.7 位的 GGUF 文件来运行，适合 16 GB 的 GPU，还可选图像输入。适合用 llama.cpp、Ollama 或 LM Studio 在本地跑模型的人。

Spark-X2.6-4B GGUF

bartowski · 工具包

支持中英文的小型聊天模型，GGUF 文件从完整 bf16 到约 2.4 GB，供 llama.cpp 使用，有低或高两档思考设置。适合想要紧凑本地助手的开发者。

Spark-X2.6-4B-DSpark-GGUF

XHToken · 工具包

作为推测解码的小型草稿模型，为 Spark-X2.6-4B 加速文本生成，提供 GGUF 格式。适合用 llama.cpp 在本地运行该模型的人。

Spark-X2.6-4B-Base

XHToken · 工具包

一个 4.1B 的语言模型，面向设备端使用，针对编码、智能体任务、长上下文和推理做了调优，支持英文和中文，并有三档思考级别。适合本地运行模型的开发者。

Qwen3.5-2B-GGUF

unsloth · 工具包

unsloth 制作的 Qwen3.5-2B 小型 GGUF 版本，能读图片和文字并用文字回答。适合在本地做原型、微调和研究。

Nanbeige4.3-33B-GGUF-UltraOptimised-Curated-Protium

SolsticeAI · 工具包

为 llama.cpp 和 Ollama 提供 33.1B 的 Nanbeige4.3 模型的 GGUF 量化文件，附带一套推理协议和最高 524,288 个词元的上下文。适合在本地运行编程模型的开发者。

free-claude-code

Alishahryar1 · 工具包

把 Claude Code、Codex、Aider 等编程工具接到多家提供商的模型上，包括免费和本地的，可在终端、IDE、手机或浏览器中使用。独立项目，与 Anthropic 无关联。

Qwen2.5-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5 1.5B 小型对话模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本或普通 GPU 上运行。适合想要轻量本地助手的人。

Qwen3.5-0.8B-weight-space-programming-GGUF

prithivMLmods · 工具包

一个小型 Qwen3.5 0.8B 模型的 GGUF 版本，它的权重被直接修改以减少推理循环。适合想用多种量化大小在本地运行它的人。