开发者 AI 技能与智能体

Nanbeige4.2-3B

Nanbeige · 工具包

4.2B 参数的紧凑循环式 Transformer 模型，面向工具使用、办公任务和编程等智能体工作，支持英语和中文。适合想用小型开放模型做智能体的开发者。

Qwen3.8-27B Fable-5 Coding Distilled GGUF

mradermacher · 工具包

一个 27.3B、经过编程蒸馏的 Qwen3.8 模型的 GGUF 量化文件，从 2 位到 8 位，另有可选的多模态补充文件。适合在本地运行编程模型、需要一个放得进内存的尺寸的开发者。

flint-mixed-3-4bit

mlx-community · 工具包

社区制作的 Recursive Flint 40B 编程模型 MLX 版本，把专家层压到 3 位，可在 24 GB 或 32 GB 的 Apple Silicon Mac 上运行。适合想在 Mac 上用本地编程模型的开发者。

Muse Glimmer 30B GGUF

meta-models · 工具包

一个 300 亿参数智能体模型的 GGUF 版本，供 llama.cpp 使用，附带可选的图像编码器和推测解码草稿模型。适合在 24 GB 显卡上本地运行模型的人。

DeepSeek-V4.1-Flash-1017-GSQ-agentic-strata

kaushikvira · 工具包

把 763.2B 参数的 DeepSeek V4.1 Flash 做成 153 GiB 的混合精度版本，针对智能体和编程工作调校，在 strata 引擎上运行。适合有大显存 GPU 和大量内存的人。

Qwen3.8-Flash-Coder APEX-I-MiniPlus V2.1 GGUF

IsValorum · 工具包

一个仅支持英文的编程模型，GGUF 格式，42.6B 参数的混合专家量化版，约 21.8 GB，用于在 llama.cpp 或 LM Studio 里做代码补全、重构和智能体工具调用。

Qwen3.6-35B-A3B-2Bit-GSQ

ISTA-DASLab · 工具包

用 GSQ（Gumbel-Softmax 量化）制作的 Qwen3.6-35B-A3B 的 2 位量化副本，用小得多的内存保留大部分推理和编程能力。需配合打过补丁的 vLLM 使用。

Flint-DFlash2

incoai · 工具包

一个 403M 参数的草稿模型，用 SGLang 里的推测解码加快 Flint 语言模型的服务速度，并且不改变输出。它不是独立的模型。

Parallel Constrained Decoding for Apple Silicon

harshatheg · 工具包

在 Apple Silicon 上用 MLX 提取结构化字段、路由决策和给文本分类，一次给所有模式字段打分。在 M4 Max 上延迟降低 5.6 到 7.0 倍，JSON 始终有效。

North Mini Code

CohereLabs · 工具包

Cohere 的开放权重研究模型，用于写代码、智能体软件工程和终端任务。30B 模型，3B 激活，256K 上下文。适合自己运行编程模型的开发者。

North-Mini-Code-1.0 GGUF

byteshape · 工具包

North-Mini-Code-1.0 编程模型的 GGUF 副本，用 ByteShape 的 ShapeLearn 压缩，面向 llama.cpp 中的 GPU 使用。四种大小，从 12.1 GB 到 21.5 GB，适合单 GPU 的开发者。

Qwen3.8-27B-NVFP4-DGX-SPARK

autotrust · 工具包

在 DGX Spark 上把 Qwen3.8-27B NVFP4 的解码速度提高约 3.9 倍，权重不变，只靠调好的推测解码配置。适合在 Blackwell GPU 上用 vLLM 部署它的团队。

Olmo-3.1-32B-Think

allenai · 工具包

回答前先用英语一步步推理，对数学和代码问题有帮助。这是 allenai 的 32B 开放模型，公开了代码、检查点和训练细节，通过 transformers 运行。

DSpine

tencent · 工具包

为 Qwen3-8B 的推测解码一次起草多个词元，让模型服务器一次检查它们。适合推理工程师和推测解码研究人员。

Tessera-27B-B-CJK-RL

ZelligeAI · 工具包

用一个会以压缩的中英文速记思考的 27B 模型运行编码智能体循环，每轮花更少的思考词元。适合自己托管大模型的开发者。

Unity Coder 7B

vishnuOI · 工具包

解答 Unity 游戏开发问题，编写 C# 脚本、XR 代码和编辑器工具，是 Qwen2.5-Coder-7B-Instruct 的微调版本。适合想要本地编码助手的 Unity 开发者。

Qwen3.6-27B-MTP-GGUF

unsloth · 工具包

用 Qwen3.6 27B 写代码和推理，提供 Unsloth 制作的、带多词元预测的 GGUF 文件，卡片说回复能快约 1.5 到 2 倍，且不损失准确度。为编程智能体而做。

Qwen3.5-0.8B-MTP-GGUF

unsloth · 工具包

在 llama.cpp 里运行小型的 Qwen3.5 0.8B 视觉语言模型，借助多 token 预测加快生成，使用 Unsloth 的 GGUF 文件。适合测试推测解码的开发者。

gemma-4-31B-it-qat-GGUF

unsloth · 工具包

用 Unsloth 的 4 比特 QAT GGUF 文件运行 Google 的 Gemma 4 31B 指令模型，自带用于推测解码的草稿模型，可在 llama.cpp 中加速。适合在本地部署大型多模态模型的人。

NeoHorse-1-9B

TokenRhythm · 工具包

从 Qwen3.5-9B 后训练而来的 9B 文本模型，面向智能体框架、工具调用、编程和指令遵循，只发布文本权重。适合在自己硬件上运行智能体的开发者。