开发者 AI 技能与智能体

Mellum2.1-12B-A2.5B-Thinking-GGUF

JetBrains · 工具包

在 llama.cpp、Ollama 或 LM Studio 里本地运行 JetBrains 的 12B 推理模型，有五种 GGUF 大小可选。适合想在自己电脑上用上下文为 131,072 个 token 的思考模型的开发者。

Qwen3.8-27B-Randean-MXFP4

flechin · 工具包

一个 27B 推理模型，经过微调后倾向于直接回答而不是含糊其辞，并量化为 MXFP4，让 vLLM 能在单块 32 GB GPU 上提供服务，适合运行本地推理和工具调用模型的开发者。

DeepSeek-V4.1-Flash-1017 iQ-MLX Pruned192 2.25bpw

ddalcu · 工具包

通过 mlx-serve 在 128 GB 内存的 Mac 上运行剪枝后的 2 位 DeepSeek-V4.1-Flash，保留 384 个专家中的 192 个和 1M token 上下文。在代码、推理和工具调用上表现最好。

RWKV7-G1 GooseOne

BlinkDL · 工具包

纯 RNN 的文本生成基础模型，用于聊天、推理和工具调用，可作为后训练和微调的起点。支持八种语言，适合开发者和研究人员。

Spark-X2.6-4B-Base

XHToken · 工具包

一个 4.1B 的语言模型，面向设备端使用，针对编码、智能体任务、长上下文和推理做了调优，支持英文和中文，并有三档思考级别。适合本地运行模型的开发者。

Nanbeige4.3-33B-GGUF-UltraOptimised-Curated-Protium

SolsticeAI · 工具包

为 llama.cpp 和 Ollama 提供 33.1B 的 Nanbeige4.3 模型的 GGUF 量化文件，附带一套推理协议和最高 524,288 个词元的上下文。适合在本地运行编程模型的开发者。

Qwen3-4B-Instruct-2507

Qwen · 工具包

用 4B 模型回答对话提示，不显示思考过程，可读取最多 256K token 的上下文。适合想要小型开源助手来做推理、编程和工具调用的开发者。

Qwen3.5-0.8B-weight-space-programming-GGUF

prithivMLmods · 工具包

一个小型 Qwen3.5 0.8B 模型的 GGUF 版本，它的权重被直接修改以减少推理循环。适合想用多种量化大小在本地运行它的人。

Seshat Agent

PCL-RSI-lab · 工具包

用一个会自我改进的编程智能体修复软件 bug，它从自己成功的运行中学习可复用的推理模式，适合做仓库级 bug 修复的开发者和研究人员。

Hermes 4 14B

NousResearch · 工具包

Nous Research 的 14B 混合推理模型，基于 Qwen3-14B。它可以逐步思考、调用工具，并返回符合模式的 JSON。使用 ChatML 提示格式。

Ming-3.0-audio-flash

inclusionAI · 工具包

接收音频和文字指令，返回文字，或带合成语音的文字。涵盖中英文的语音识别、语音问答和音频推理。适合拥有大型 GPU 的开发者。

gemma-4-26B-A4B

google · 工具包

读取文字和图片并输出文字，适合想在自己的 GPU 或工作站上，用 Google DeepMind 开放权重模型做编程、推理和图片提问的开发者。

LFM2.5-8B-A1B-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF

DavidAU · 工具包

LiquidAI 的稀疏混合专家模型 LFM2.5-8B-A1B 的 GGUF 版本，加入 DavidAU 的 Turbo Brilliance 系统和 12 种推理模式。8.5B 的实验性发布，供本地运行。

LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF

DavidAU · 工具包

LiquidAI 的 LFM2.5-2.6B 的 GGUF 版本，加入 DavidAU 的 Turbo Brilliance 系统，有 12 种推理模式和 12 种指令模式，在提示词里切换。2.7B 测试版，供本地运行。

gpt-oss-20b-GGUF

unsloth · 工具包

在你自己的电脑上运行 OpenAI 开放权重的 gpt-oss-20b 推理模型，由 unsloth 打包成 GGUF 文件。适合想要本地模型、并能调节推理强度的开发者。

Bonsai-27B-gguf

prism-ml · 工具包

把 27B 级推理模型做成约 3.9 GB 的 1-bit GGUF 文件，在 llama.cpp 上运行，笔记本或一张显卡就能放下。适合想在日常硬件上做本地推理的人。

Raon-1 mini (GGUF)

KRAFTON · 工具包

在 llama.cpp 中运行一个 28.8B 的混合专家模型，针对韩语对话、推理和调用工具的智能体做过优化。这是 Raon-1 mini preview 的 GGUF 版本，适合在自己电脑上运行模型的人。

Mellum2.1-12B-A2.5B-Thinking

JetBrains · 工具包

12B 混合专家思考模型，激活参数 2.5B，在真实代码仓库中用强化学习训练，面向编程智能体、数学和困难推理。由 JetBrains 打造，上下文 131,072 token。

K2-Horizon-7B

IFM · 工具包

用 512K token 的上下文窗口写文字、代码和推理回答，适合想要训练数据、代码和检查点全部公开的开放稠密模型的开发者和研究人员。

Qwen3.8-2B-Distill-GGUF

empero-ai · 工具包

在手机、笔记本和单板计算机上运行小型 2B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp。