开发者 AI 技能与智能体

flint-mixed-3-4bit

mlx-community · 工具包

社区制作的 Recursive Flint 40B 编程模型 MLX 版本，把专家层压到 3 位，可在 24 GB 或 32 GB 的 Apple Silicon Mac 上运行。适合想在 Mac 上用本地编程模型的开发者。

clef-flash-4bit

mlx-community · 工具包

Cloudflare 的 clef-flash 的 4 位 MLX 版本，在 Apple Silicon Mac 上把一个状态和带类型的问题变成每个允许答案的概率。不是聊天模型。用自带的加载器在本地运行。

Muse Glimmer 30B GGUF

meta-models · 工具包

一个 300 亿参数智能体模型的 GGUF 版本，供 llama.cpp 使用，附带可选的图像编码器和推测解码草稿模型。适合在 24 GB 显卡上本地运行模型的人。

dale-9b (GGUF)

manuelgscom · 工具包

把西班牙语或英语请求变成一条 Linux bash 命令，以小型 JSON 对象返回。适合想要在 CPU 或 GPU 上运行本地命令助手的终端用户和开发者。

askmdb-9b-GGUF

manuelgscom · 工具包

根据西班牙语或英语的日常提问，写出只读的 MongoDB 聚合管道。这是 Qwen3.5-9B 微调版的 GGUF 副本，可用 llama.cpp 在本地运行，适合想用日常语言查询数据的开发者。

Maincoder-1B

Maincode · 工具包

根据函数签名或文档字符串补全并编写 Python 代码。这是 Maincode 的 1B 代码模型，小到能在消费级硬件上运行，适合想在本地做代码补全的开发者。

Qwen3.8-27B-MLX-8bit

lmstudio-community · 工具包

在 Apple Silicon Mac 上运行 8 位 MLX 版本的 27B 图文模型，适合想在本地回答图片问题的人。

ColGrep-Agent-2B

lightonai · 工具包

一个 2.5B 参数的模型，通过搜索和阅读代码仓库，找出与缺陷报告或问题相关的文件和行范围。通过 ColGrep 在本地运行。

Qwen3.8-27B-oQ8e-mtp

Jundot · 工具包

把 Qwen3.8-27B 做成 8 位混合精度的 MLX 检查点，带视觉编码器和 MTP 头，用于苹果硬件上的图文聊天。适合想在本地得到接近完整质量的人。

MLX-Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-6bit

Jackrong · 工具包

以 MLX 格式、6 位运行一个只有 0.8B 的推理调优聊天小模型，转换自 Jackrong 的 Qwen3.5 蒸馏模型。适合想在 Mac 上用一个很小本地模型的人。

granite-4.2-8b GGUF

ibm-granite · 工具包

提供 IBM Granite 4.2 8B 模型的多种量化级别 GGUF 副本，可直接用于 llama.cpp。适合想在本地运行该模型、并从基础模型卡了解详情的人。

Granite-4.2-3B (GGUF)

ibm-granite · 工具包

把 IBM 的 Granite 4.2 3B 文本模型打包成 GGUF 文件，供本地使用。4 位权重估计约 1.8 GB，适合想要采用 Apache 2.0 许可的小型模型的人。

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

hesamation · 工具包

以四种量化大小的 GGUF 文件在你自己的机器上运行推理微调的 Qwen3.6-35B-A3B，训练数据是 Claude Opus 4.6 风格的推理数据。适合想在本地获得逐步推理回答的人。

phonon-31m English for llama.cpp

gradium · 工具包

在命令行或本地服务器上把英语文字转成语音，是 Phonon 31M 模型面向 llama.cpp 的 GGUF 版本。适合已经在用带 Phonon 支持的 llama.cpp 的开发者。

Qwen2.5-Coder-1.5B Q8_0 GGUF

ggml-org · 工具包

通过 llama.cpp 在你自己的机器上运行 Qwen2.5-Coder 1.5B 的 Q8_0 GGUF 文件，可以用命令行，也可以做成本地服务器。适合想用小型代码模型的开发者。

embeddinggemma-2 GGUF

ggml-org · 工具包

用 llama 命令或 Llama 应用运行 Google embeddinggemma-2 的 GGUF 副本，这是一个 271M 的特征提取模型。适合想在本地使用小型文本嵌入模型的开发者。

GLiNER2.5-multi-Decide

fastino · 工具包

按你在调用时传入的标签对文本分类，一次计算完成，不需要提示词模板。这是 287M 的模型，用于非英语文本的路由、意图、情感和审核。可在本地运行。

Qwen3-ASR-1.7B GGUF

cstr · 工具包

用 Qwen3-ASR-1.7B 的量化 GGUF 文件，在 CrispASR 里把语音、歌声和歌曲转成文字或英文。适合想在本地转写 30 种语言和 22 种中文方言的人。

Underdog-Woof-4B-1.1

ConwayResearch · 工具包

这是一个紧凑的 4.2B 文本生成模型，基于 Qwen 3 4B 后训练，更适配 Underdog 自己的配套环境，并量化为 4-bit MLX 格式。适合在非商业场景下运行小型本地模型的人。

SalamandraTA-7b-instruct

BSC-LT · 工具包

一个 7.8B 的翻译模型，支持 40 种语言和 3 种变体，可做句子、段落和文档翻译，也能处理 HTML 或 XML 文本。适合想要本地翻译器的开发者和研究人员。