开发者 AI 技能与智能体

officialmobai_Rostam-S1-4B-GGUF

bartowski · 工具包

Rostam-S1-4B 的 GGUF 量化版本，这是一个 4B 推理模型，擅长数学、物理、软件工作和波斯语与英语文本。适合在本地运行小模型、想自己挑文件大小的人。

Hemmingway-1.5 GGUF

bartowski · 工具包

HemmingwayAI 的 Hemmingway-1.5 的 imatrix GGUF 量化版本，这是一个 27B 文本模型，支持 MTP 推测解码，并有推理强度提示格式。适合在本地运行大模型的人。

Swift 1.5 Ornith 9B GGUF

ukisai · 工具包

以 llama.cpp 用的 GGUF 量化版本运行 Swift 1.5 Ornith 9B，这是一个调校成用更少 token 思考的推理模型。适合在自己机器上运行 9B 推理模型的人。

Phi-4-mini-instruct

microsoft · 工具包

Microsoft 推出的 3.8B 开放指令模型，上下文 128K token，为内存或延迟紧张时的推理、数学和逻辑而做。适合给应用添加文本功能的开发者。

Groot-19B-A3B-TTQ-GGUF

TokenTinkerer · 工具包

为 llama.cpp 提供 Groot-19B-A3B 推理模型的十一种 GGUF 大小，从 7.88 到 18.59 GiB，另有一个视觉投影文件。适合在自己电脑上运行该模型的人。

Qwen3-30B-A3B-GGUF

unsloth · 工具包

unsloth 量化的 Qwen3-30B-A3B GGUF 文件，用于在 llama.cpp、Ollama 或 Open WebUI 里运行本地聊天和推理模型，思考模式可以逐轮开关。

Olmo-3-32B-Think-GGUF

unsloth · 工具包

把 32.2B 参数的推理模型 Olmo 3 32B Think 做成 GGUF 文件，可以在你自己的电脑上运行。由 unsloth 打包，适合想本地使用 Apache 2.0 模型的人。

gpt-oss-120b-GGUF

unsloth · 工具包

用 Unsloth 制作的 GGUF 文件运行 OpenAI 的开放权重模型 gpt-oss-120b，它有 117B 参数，其中 5.1B 处于激活状态，文件带有 Unsloth 的修复。面向推理、智能体任务和开发者使用。

Qwen3.8-27b-Terse-Coder-LoRA

Shockem · 工具包

缩短 Qwen3.8-27B 在编程任务上的推理长度，让答案更快出来，以一个小型 LoRA 适配器的形式提供。适合在自己硬件上运行基础模型的人。

Qwen3.5-122B-A10B

Qwen · 工具包

这个模型同时读图像和文字并用文字回答，是总参数 122B、激活参数 10B 的混合专家模型。适合有大型 GPU 服务器、想用开源视觉语言模型做推理、编程和智能体的团队。

Qwen3-8B-MLX-bf16

Qwen · 工具包

通过 mlx 库运行 Qwen3 8B 语言模型，用于聊天、推理、翻译和智能体任务。适合想在本地使用可切换思考模式的文本模型的开发者。

Hermes-4.3-36B-GGUF

NousResearch · 工具包

Hermes 4.3 36B 的 GGUF 版本，是一个混合推理模型，能先思考再回答、写出有效的 JSON，并遵循你的系统提示词。适合在自己机器上运行大模型的人。

Phi-4

microsoft · 工具包

Microsoft Research 推出的 14B 开放语言模型，针对计算资源有限时的英语推理和对话做了调整。适合给应用添加文本功能，或研究中等规模模型的开发者。

Qwopus3.8-27B-Flash-GGUF

Jackrong · 工具包

为长时间的智能体任务缩短推理时间、降低成本，是 Qwen3.8-27B 微调模型的 GGUF 版本。适合在自己机器上跑智能体循环、想让每一轮更快的人。

Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

Jackrong · 工具包

在 think 标签里一步步思考问题，是用推理链微调的 4B Qwen3.5 模型，以 GGUF 打包。适合想在自己电脑上运行小型推理模型的人。

MLX-Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-6bit

Jackrong · 工具包

以 MLX 格式、6 位运行一个只有 0.8B 的推理调优聊天小模型，转换自 Jackrong 的 Qwen3.5 蒸馏模型。适合想在 Mac 上用一个很小本地模型的人。

Qwen3.8-27B-NVFP4 Deployment Edition

IteraCompute · 工具包

用 vLLM 在一块 RTX 5090 上以 NVFP4 运行 Qwen3.8-27B，带校验和验证的下载、FP8 KV 缓存、工具调用和推理支持。适合在 Blackwell GPU 上自托管大模型的开发者。

Qwen3.6-35B-A3B-2Bit-GSQ

ISTA-DASLab · 工具包

用 GSQ（Gumbel-Softmax 量化）制作的 Qwen3.6-35B-A3B 的 2 位量化副本，用小得多的内存保留大部分推理和编程能力。需配合打过补丁的 vLLM 使用。

Agents-A1

InternScience · 工具包

作为一个 35B 开放权重语言模型，负责多步骤智能体工作：规划、搜索、调用工具和科学推理。适合要把模型接入会调用工具的智能体的开发者。

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

hesamation · 工具包

以四种量化大小的 GGUF 文件在你自己的机器上运行推理微调的 Qwen3.6-35B-A3B，训练数据是 Claude Opus 4.6 风格的推理数据。适合想在本地获得逐步推理回答的人。

Maple-Preview

deepgrove · 工具包

一个 20B 的三值权重推理模型，每个词元激活约 1B 参数。为快速的设备端使用而设计，检查点为 5.31 GB，上下文为 131,072 词元。这是一个预览版，在智能体任务上较弱。

Chroma Context-1

chromadb · 工具包

一个 200 亿参数的搜索模型，为复杂的多步问题找出支撑文档，并在搜索中修剪自己的上下文。设计成与更大的推理模型搭配的检索助手。

ERNIE-4.5-21B-A3B-Thinking

baidu · 工具包

以推理见长的 ERNIE 4.5 混合专家文本模型，总参数 21B、激活参数 3B，上下文 128K，支持工具调用，支持英文和中文。适合需要用较小激活规模做深度推理的开发者。

GigaChat3.5-432B-A28B

ai-sage · 工具包

用于俄语和英语的对话、代码、推理和工具调用文本生成。这是一个 432B 的混合专家模型，激活参数 28B，适合能自行部署大模型的团队。

Beam-1.0-501B-A23B-NVFP4

reflection · 工具包

这个模型读写文本，上下文 1M 个 token，主打编程、智能体调用工具和数学推理，是 NVFP4 形式的 501B 参数混合专家模型。适合有多 GPU 服务器、想用开源模型的团队。

Qwen3-1.7B

Qwen · 工具包

一个紧凑的 1.7B 聊天模型，可在用于推理的思考模式和用于对话的快速模式之间切换。适合想用小型开放模型做聊天、翻译和智能体功能的开发者。

1-bit Bonsai 27B (MLX)

prism-ml · 工具包

在 Apple MLX 上运行一个每个权重压成 1 比特、约 3.9 GB 的 27B 级推理模型，上下文 262K 词元。适合想在手机或笔记本上用大模型的开发者。

gpt-oss-safeguard-20b

openai · 工具包

按你写的安全策略对文本分类，并展示推理过程。适合信任与安全团队过滤模型输入输出，以及在线或离线给内容打标签。

gpt-oss-safeguard-120b

openai · 工具包

根据你写的安全政策给文本分类，并展示每个决定背后的推理。适合过滤或标注内容的信任与安全团队。

Qwen3.8-27B-Fable-5-Coding-Distilled

khazarai · 工具包

在提出修复方案前先检查真实文件，来调试和评审代码。这是 Qwen3.8-27B 的微调版，用 195M 词元的推理轨迹训练。适合构建编程智能体的开发者。

Qwopus3.8-27B-Flash-V2-GGUF

Jackrong · 工具包

减少长时间智能体任务里被浪费的推理，是 Qwen3.8-27B 第二版 Flash 微调模型的 GGUF 版本，Python 格式更好。适合在本地跑智能体循环的人。

Qwopus3.8-27B-Coder-Flash

Jackrong · 工具包

写代码、调用工具，作为编码智能体处理软件任务。这是 Jackrong 基于 Qwen3.8-27B 的 27.8B 微调模型，用约 200,000 条代码和推理样例训练，适合有强力 GPU 的开发者。

Ling-3.0-tiny-GGUF

inclusionAI · 工具包

inclusionAI 的 Ling-3.0-tiny 的 GGUF 副本。这是一个小型混合专家推理模型，总参数 7.9B，激活参数 1.3B，适合低成本本地运行。

DeepSeek-V3.2

deepseek-ai · 工具包

DeepSeek 的 685B 开源推理模型，用稀疏注意力处理长上下文，聊天模板让它能一边思考一边调用工具。适合运行大模型和构建智能体的团队。

Qwen3.8 Flash Next Turbo Brilliance 50x GGUF

DavidAU · 工具包

DavidAU 制作的 Qwen3.8-Flash-Next 的 GGUF 版本，有 27 种推理模式、27 种指令模式和 15 个可在提示词里切换的 AI 角色。适合有大显卡或大内存的人。

Qwen3.8-27B-Jumbo-Fusion-IQ-747-900-Turbo-Brilliance-50X

DavidAU · 工具包

DavidAU 对 27B Qwen 模型的 GGUF 微调版，有可切换的指令和推理模式，以及内置的帮助系统。Hugging Face 把它列为图文转文字。供本地运行。

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF

DavidAU · 工具包

回答问题并读取图像，思考过程短得多。这是 DavidAU 对 27B 的 Qwen 3.8 的调优版 GGUF，目标是在保持准确度的同时减少推理 token，适合在本地运行模型的人。

Maximizing Model Performance 指南

DavidAU · 工具包

指导你为本地语言模型调节采样器和参数，并给出在 LM Studio、SillyTavern、Ollama 和 Koboldcpp 里设置系统提示词、推理模型和专家数量的步骤。

Qwen3.8-27B-CodeForge-3xMerge

xtools-at · 工具包

用三个 Qwen3.8-27B 微调版本加权合并而成的模型，可编写和解释代码，也能处理推理问题。适合想用一个通用模型做编程和聊天的开发者。

Qwen3-4B-GGUF

Qwen · 工具包

一个 4B 的 GGUF 聊天模型，可在 llama.cpp 或 ollama 里本地运行，有用于推理的思考模式和用于快速回复的普通模式。适合使用普通电脑的开发者和爱好者。

Mellum2.1-12B-A2.5B-Thinking-GGUF

JetBrains · 工具包

在 llama.cpp、Ollama 或 LM Studio 里本地运行 JetBrains 的 12B 推理模型，有五种 GGUF 大小可选。适合想在自己电脑上用上下文为 131,072 个 token 的思考模型的开发者。

Qwen3.8-27B-Randean-MXFP4

flechin · 工具包

一个 27B 推理模型，经过微调后倾向于直接回答而不是含糊其辞，并量化为 MXFP4，让 vLLM 能在单块 32 GB GPU 上提供服务，适合运行本地推理和工具调用模型的开发者。

DeepSeek-V4.1-Flash-1017 iQ-MLX Pruned192 2.25bpw

ddalcu · 工具包

通过 mlx-serve 在 128 GB 内存的 Mac 上运行剪枝后的 2 位 DeepSeek-V4.1-Flash，保留 384 个专家中的 192 个和 1M token 上下文。在代码、推理和工具调用上表现最好。

RWKV7-G1 GooseOne

BlinkDL · 工具包

纯 RNN 的文本生成基础模型，用于聊天、推理和工具调用，可作为后训练和微调的起点。支持八种语言，适合开发者和研究人员。

Spark-X2.6-4B-Base

XHToken · 工具包

一个 4.1B 的语言模型，面向设备端使用，针对编码、智能体任务、长上下文和推理做了调优，支持英文和中文，并有三档思考级别。适合本地运行模型的开发者。

Nanbeige4.3-33B-GGUF-UltraOptimised-Curated-Protium

SolsticeAI · 工具包

为 llama.cpp 和 Ollama 提供 33.1B 的 Nanbeige4.3 模型的 GGUF 量化文件，附带一套推理协议和最高 524,288 个词元的上下文。适合在本地运行编程模型的开发者。

Qwen3-4B-Instruct-2507

Qwen · 工具包

用 4B 模型回答对话提示，不显示思考过程，可读取最多 256K token 的上下文。适合想要小型开源助手来做推理、编程和工具调用的开发者。

Qwen3.5-0.8B-weight-space-programming-GGUF

prithivMLmods · 工具包

一个小型 Qwen3.5 0.8B 模型的 GGUF 版本，它的权重被直接修改以减少推理循环。适合想用多种量化大小在本地运行它的人。

Seshat Agent

PCL-RSI-lab · 工具包

用一个会自我改进的编程智能体修复软件 bug，它从自己成功的运行中学习可复用的推理模式，适合做仓库级 bug 修复的开发者和研究人员。

Hermes 4 14B

NousResearch · 工具包

Nous Research 的 14B 混合推理模型，基于 Qwen3-14B。它可以逐步思考、调用工具，并返回符合模式的 JSON。使用 ChatML 提示格式。