开发者 AI 技能与智能体

Swift 1.5 Ornith 9B GGUF

ukisai · 工具包

以 llama.cpp 用的 GGUF 量化版本运行 Swift 1.5 Ornith 9B，这是一个调校成用更少 token 思考的推理模型。适合在自己机器上运行 9B 推理模型的人。

MiMo-V2.6-Distill-Qwen-9B-GSQ-RCO-GGUF

sainez · 工具包

把一个 9B 的编程和工具调用模型做成一个 3.64 GiB 的 GGUF 文件，以约 3.5 比特每权重量化，方便在你自己的机器上运行。

Qwen3-30B-A3B-GGUF

Qwen · 工具包

一个 30.5B 的混合专家聊天模型，GGUF 格式，每个词元只激活 3.3B 参数，可在 llama.cpp 或 ollama 里运行。有思考和普通两种模式，适合机器配置较高的开发者。

Qwen2.5-Coder-32B-Instruct-GGUF

Qwen · 工具包

一个 32B 代码聊天模型的 GGUF 版本，可用 llama.cpp 在本地运行。能根据简单请求编写、解释和修复代码，适合想在自己机器上运行的开发者。

AstrLink Guard

QuantumNous · 工具包

在 ONNX 中本地识别中文、英文和混合文本、代码、日志以及 AI 编程助手请求里的个人信息和凭据。适合在敏感数据离开机器前对它做遮盖的开发者。

PP-OCRv6_small_rec

PaddlePaddle · 工具包

能读出图片里的英文和中文文字，是 PaddleOCR 的 PP-OCRv6 系列里的小型模型。适合想在自己机器上用轻量 OCR 的开发者。

Hermes-4.3-36B-GGUF

NousResearch · 工具包

Hermes 4.3 36B 的 GGUF 版本，是一个混合推理模型，能先思考再回答、写出有效的 JSON，并遵循你的系统提示词。适合在自己机器上运行大模型的人。

nomic-embed-text-v1.5-GGUF

nomic-ai · 工具包

通过 llama.cpp 在你自己的机器上把句子变成向量，使用紧凑的 GGUF 文件，适合搜索和 RAG 提问。适合想要本地文本嵌入的开发者。

JevK5-chat-mlx-4bit

mlx-community · 工具包

4.2B 聊天模型 JevK5 的 4-bit MLX 版本，面向 Apple Silicon，上下文 262,144 token，内存占用小。适合想在入门级 Mac 上用本地聊天模型的用户。

GLM-5.3-Flash EXL3 4bpw for TensorFold

Mia-AiLab · 工具包

为 TensorFold 准备的 GLM-5.3-Flash 4 位 EXL3 量化版，在大小相同的情况下 KL 散度低于流行的 TR3-4bpw 量化版。适合在 DGX Spark 机器上部署大模型的人。

Qwopus3.8-27B-Flash-GGUF

Jackrong · 工具包

为长时间的智能体任务缩短推理时间、降低成本，是 Qwen3.8-27B 微调模型的 GGUF 版本。适合在自己机器上跑智能体循环、想让每一轮更快的人。

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

hesamation · 工具包

以四种量化大小的 GGUF 文件在你自己的机器上运行推理微调的 Qwen3.6-35B-A3B，训练数据是 Claude Opus 4.6 风格的推理数据。适合想在本地获得逐步推理回答的人。

MuLaCover

HeartMuLa · 工具包

根据参考曲目、歌词和风格提示词，或根据旋律与和弦 MIDI，生成翻唱歌曲和音乐混音，输出 WAV 文件。适合在 CUDA 机器上做非商业音乐项目。

Qwen2.5-Coder-1.5B Q8_0 GGUF

ggml-org · 工具包

通过 llama.cpp 在你自己的机器上运行 Qwen2.5-Coder 1.5B 的 Q8_0 GGUF 文件，可以用命令行，也可以做成本地服务器。适合想用小型代码模型的开发者。

Clef-GGUF

ggml-org · 工具包

Cloudflare 的 Clef 决策模型的 GGUF 文件，支持图像和文本输入。用 llama.cpp 工具提供服务，通过决策 API 路径调用。适合在自己机器上运行它的开发者。

Instinct

continuedev · 工具包

预测你在代码里接下来可能做的修改。这是 Continue 推出的 7.6B 模型，基于 Qwen2.5-Coder-7B 微调，适合想在自己电脑或服务器上运行它的开发者。

pig-vae

calcuis · 工具包

pig 架构的小型 GGUF VAE，用于图像和视频工作流，加载器在 gguf-node 包里。目标是在较旧的机器上运行更快、占用内存更少。

Qwen3.5-35B-A3B-GGUF

unsloth · 工具包

在你自己的机器上读取文字和图片、编写代码并调用工具，使用 Unsloth 刷新后的 Qwen3.5 35B-A3B 视觉语言模型 GGUF 文件。适合运行本地智能体的开发者。

GLM-5.3-Flash EXL3 Spark

0xSero · 工具包

在一台 DGX Spark 上以 256k 词元的上下文和图像输入运行 GLM-5.3-Flash，使用每权重约 2.31 位的混合 EXL3 版本。适合在单台小型机器上托管大模型、看重质量而不是速度的人。

Qwen3-Embedding-0.6B-GGUF

Qwen · 工具包

这个 0.6B 的 GGUF 格式模型把文本变成数字向量，用于 100 多种语言的搜索、检索和聚类。适合要在自己机器上做搜索或相似度功能的开发者。