开发者 AI 技能与智能体

CherryPit-1.2-2B

DRUPEs · 工具包

基于 MiniCPM5-2B 的 2B 编程和聊天模型，在需要多个功能合在一个组件里的网页应用上进步很大。适合想要本地小型代码模型的开发者。

Nanbeige_Nanbeige4.3-33B-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Nanbeige4.3-33B 制作的 GGUF 量化版本，大小约从 21 GB 到 66 GB。适合在本地用 llama.cpp 运行 33B 的中英文文本模型。

Spark-X2.6-1.7B

XHToken · 工具包

用面向本地设备的紧凑 1.7B 模型生成文本，有三档可调的思考等级。适合想在本地硬件上获得编程、智能体和长上下文帮助的开发者。

Qwen2.5-VL-7B-Instruct-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen2.5-VL-7B-Instruct 的 GGUF 文件，这个视觉语言模型能读图像、图表、文档和长视频，还能输出坐标和结构化数据。适合在本地运行它的人。

gemma-4-12b-it-GGUF

unsloth · 工具包

Unsloth 制作的 Google 指令微调 Gemma 4 12B 的 GGUF 量化版本，一个能读文字、图片、音频和视频并输出文字的模型，适合本地运行。

Qwen3.8-27B-GGUF

ggml-org · 工具包

以 GGUF 文件形式运行 Qwen3.8-27B，这是一个 26.9B 的模型，能读图片和文字并用文字回复，通过 llama 工具在本机使用，适合想把它放在自己电脑上的你。

Underdog Bark 3.0

ConwayResearch · 工具包

用一个 0.6B 模型把英语语音转成文字，下载只有 163 MB，基于 NVIDIA 的 Parakeet TDT 0.6B v3。适合想要小巧本地转写的开发者和苹果芯片用户。非商业许可。

Spark-X2.6-1.7B-GGUF

XHToken · 工具包

以 4-bit GGUF 文件运行 XHToken 的 1.7B 小型端侧语言模型，可做中英文的聊天、编码和智能体任务，思考强度可调。适合在本地运行模型的人。

gemma-4-12B-it-qat-GGUF

unsloth · 工具包

Gemma 4 12B 的 GGUF 版本，经过量化感知训练，4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人，附带加快输出的草稿文件。

gemma-4-31B-it-GGUF

unsloth · 工具包

通过 Unsloth 的 GGUF 文件在本地运行 Google 的 Gemma 4 31B 指令微调模型，支持文本和图像输入，上下文很长。适合想要强大本地推理和编程模型的开发者。

Idol-GGUF

TimeLordRaps · 工具包

SperiD Labs 的 Idol 的 8-bit GGUF 版本，把一张图像变成 3D 高斯点云和网格，用 idol.cpp 在本地运行。适合做图像转 3D 的开发者。

Qwen3-8B-GGUF

Qwen · 工具包

在 llama.cpp 或 Ollama 中运行量化后的 Qwen3-8B GGUF 文件，有用于数学、代码和逻辑的思考模式，也有用于聊天的普通模式。适合想要本地模型并能选择文件大小的人。

halogen-qwen3.8-flash-next

peonist-ai · 工具包

存放 halogen-flash-server 所用的模型权重，这个引擎能在 AMD Strix Halo 机器上运行 Qwen3.8-Flash-Next，适合想在本机运行该模型的这类硬件的主人。

jevos-v4

feder-cr · 工具包

一个本地决策模型，在笔记本 CPU 上约 28 到 130 毫秒就能回答关于文本的是非、选择和打分问题，为每个答案返回概率。适合想要免费本地方案、替代云端决策 API 的开发者。

ZONOS3-Mini GGUF

AtomicChat · 工具包

把 ZONOS3-Mini 文本转语音模型打包成适用于 llama.cpp 的 GGUF 文件，内置 27 种声音，有从 0.41 到 1.61 GB 的六种主干大小。适合在本地运行语音的开发者。

Qwen3.5-4B-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen3.5-4B GGUF 量化版本，一个能读图片和文字并用文字回答的小模型，适合在本地运行模型的人。

DeepHat-V1-7B

DeepHat · 工具包

面向网络安全和 DevOps 工作的 7B 编程模型，由 Qwen2.5-Coder-7B 微调而来。适合想要本地小模型的安全和运维工程师，须遵守附加的使用限制。

Qwen3.6-35B-A3B-MTP-GGUF

unsloth · 工具包

通过 Unsloth 的 GGUF 文件在本地运行 Qwen3.6-35B-A3B，带多词元预测，让 llama.cpp 解码更快。适合想要本地智能体编程模型的开发者。

flint-GGUF

unsloth · 工具包

用 Unsloth 的 GGUF 文件运行 Flint，这是面向编程智能体的 39.8B 混合专家模型，每个词元只用约 2.5B 参数。适合在本地运行编程智能体的开发者。

Ling-3.0-tiny

inclusionAI · 工具包

用 7.9B 的混合推理模型生成文本，每个词元只激活 1.3B 参数，适合本地和低资源环境。适合不想用数据中心 GPU 却要推理和智能体能力的开发者。