开发者 AI 技能与智能体

Needle 3

Cactus-Compute · 工具包

Cactus Compute 的小型设备端模型，用于工具调用、结构化提取和文本嵌入，通过 cactus Python 包使用。适合构建本地智能体的开发者。

Alpie Seed 9B GGUF

169Pi · 工具包

通过三种位深的 GGUF 文件，在你自己的机器上运行 169Pi AI 的图文模型 Alpie Seed 9B。适合想在本地做视觉语言对话的开发者。

Qwen3.5-9B-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen3.5-9B GGUF 量化版本，一个能读图片和文字并用文字回答的中等规模模型，适合在本地运行模型的人。

MiniCPM5-2B

openbmb · 工具包

用面向设备端和本地使用的稠密 2B 级模型生成文本，涵盖英文和中文的编程、数学、长上下文、工具使用和智能体任务。适合硬件有限的开发者。

Qwen-Fixed-Chat-Templates

froggeric · 工具包

用一个即插即用的 Jinja 文件替换 Qwen 官方聊天模板，修复渲染错误、缓存失效、浪费词元和智能体卡住的问题。适合在本地运行 Qwen 3.5、3.6 和 3.8 模型的人。

Thinklite-27B-GGUF

Sparset · 工具包

Thinklite-27B 的 4 位 GGUF 版本，适用于 llama.cpp，每次回答比基础模型用更少的推理，适合在本地运行 27B 文本模型的人。

BotPsy-0.8B

qvac · 工具包

一个专为函数调用和智能体工作流设计的 0.8B 小模型，基于 Qwen3.5-0.8B，轻到可以在设备上运行，适合想要本地使用工具的助手的开发者。

Raon-1 nano (MLX)

KRAFTON · 工具包

提供适用于 Apple silicon 的 4-bit MLX 版 Raon-1 nano 权重，让开发者在 Mac 上本地运行韩英双语聊天模型。适合应用开发者和本地模型用户。

Ornith-1.5-35B-A3B-GGUF

ornith-ai · 工具包

运行一个面向编程和智能体任务的 35B 混合专家文本模型，每个词元只用约 3B 参数。这个仓库提供它的 GGUF 文件，供本地使用。

gemma-4-12B

google · 工具包

Google 的 Gemma 4 12B Unified 模型，是能读文字、图片、音频和视频并输出文字的开放模型，上下文 256K，不需要单独的编码器。适合运行本地 AI 的开发者。

Qwen3.6-35B-A3B-GGUF

unsloth · 工具包

用 Unsloth 的 GGUF 文件运行 Qwen3.6-35B-A3B，这是能读图和文字的混合专家模型，每个词元只用约 3B 参数。适合在本地运行大模型的开发者。

gpt-oss-20b

openai · 工具包

根据文字提示词写作、推理并调用工具，是 OpenAI 的 21B 开放权重模型，可在 16 GB 内存内运行。适合想要本地或专用模型的开发者。

MOSS-Image-SFT-8-steps-dmd

lodestones · 工具包

把 MOSS-Image-SFT 的出图步数减到 8 步且不用 CFG，以 ComfyUI 的 LoRA 文件提供。这是一个仍在进行中的蒸馏，适合在本地生成图像的人。

Cactus runtime

Cactus-Compute · 工具包

提供预编译的运行时二进制文件，在手机、笔记本、服务器和浏览器上本地运行文字、语音和视觉模型。适合在应用里发布设备端 AI 的开发者。

Qwen3.8-27B Turbo Brilliance NEO MAX MTP GGUF

DavidAU · 工具包

以 GGUF 形式运行 Qwen3.8-27B，带有一组可在提示词里切换的推理和指令模式。适合运行本地模型、喜欢调整模型工作方式的人。

Muse Glimmer 30B

meta-models · 工具包

读取文字和图片，在本地机器上完成工具调用、多步推理等智能体任务，是从 Muse Spark 蒸馏出的 30B 模型。适合构建本地智能体的开发者。

Ripple-65B-Preview-GGUF

AtomicChat · 工具包

65B 智能体编程模型 Ripple Preview 的 GGUF 量化文件，用 llama.cpp 在本地运行，适合在自己硬件上运行大型开源模型的人。

Mach Boom

SyzygyResearch · 工具包

用 Gradium 的 Phonon 31m 模型的 3.5 位版本，在单个 CPU 核心上把英文文字变成语音，速度比实时快好几倍，适合需要小巧本地语音输出的开发者。

DeepSeek-V4.1-Flash-1017-GGUF

unsloth · 工具包

Unsloth 制作的 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本，这是一个巨大的图文模型，可在 128 GB 或更多内存的机器上本地运行，适合自己运行大型开放模型的人。

Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF

ISTA-DASLab · 工具包

Qwen3.8-Flash-Next 的偏编程 GGUF 版本，去掉了一半专家，把 BF16 的 354 GB 缩到 58.4 GB，同时保留图片输入，适合有大机器、想在本地用编程模型的人。