AI 智能体技能、规则与提示词工具包

Qwen2.5-7B-Instruct-GGUF

Qwen · 工具包

Qwen2.5-7B-Instruct 的 GGUF 文件，提供八种量化大小，可通过 llama.cpp 在本地聊天。适合想在自己电脑上用 7.6B 强力模型、又不想搭 Python 环境的人。

officialmobai_Rostam-S1-4B-GGUF

bartowski · 工具包

Rostam-S1-4B 的 GGUF 量化版本，这是一个 4B 推理模型，擅长数学、物理、软件工作和波斯语与英语文本。适合在本地运行小模型、想自己挑文件大小的人。

Hemmingway-1.5 GGUF

bartowski · 工具包

HemmingwayAI 的 Hemmingway-1.5 的 imatrix GGUF 量化版本，这是一个 27B 文本模型，支持 MTP 推测解码，并有推理强度提示格式。适合在本地运行大模型的人。

AsteroRank-Lepton-GGUF

Asteromorph · 工具包

用面向 STEM 和通用搜索的重排序模型按相关度给搜索结果排序，以 GGUF 文件提供，可在 llama.cpp 中运行。适合想在本地排序的开发者和研究者，仅限非商业使用。

GLiNER2.5 Base

fastino · 工具包

用同一个模式从英文文本中抽取实体、关系和结构化记录，并给文本分类，在本地的 CPU、CUDA 或 MPS 上运行。适合构建文本抽取流程的开发者。

Ornith-1.5-9B-GGUF

AtomicChat · 工具包

Ornith 1.5 9B 的 GGUF 版本，这是一个能读图像和文字的模型，文件大小从 2.81 GB 到 17.9 GB，另有视觉投影文件。选一个适合你显存的文件，在本地运行。

Qwen3.5-4B-3D-Coder-GGUF

prithivMLmods · 工具包

用早期预览版 Qwen3.5-4B 微调模型的 GGUF 副本写代码，并生成自包含的 Three.js 交互 3D 场景页面。适合在本地做 3D 场景原型的开发者。

MOSS-Image-IDM-2-Steps

akhaliq · 工具包

用两步、不带引导的方式从文字生成图片，是 MOSS-Image-SFT 的一个小适配器，另有第二个适配器可做轻度图片编辑。适合在本地运行图像生成的人。

Qwen3.8-27B-DFlash2-GGUF

z-lab · 工具包

GGUF 格式的草稿模型，通过提出词元块让主模型验证来加速 Qwen3.8-27B。适合在本地用 llama.cpp 运行该模型的人。

LocalAlign_llama3.1_8B

yuyangGong · 工具包

Llama-3.1-8B-Instruct 的 LoRA 适配器，训练它遵循可信指令、忽略藏在外部数据里的命令。适合构建 LLM 应用、需要提示词注入防御的人。

Spark-X2.6-1.7B-Base

XHToken · 工具包

一个紧凑的 1.7B 语言模型，面向设备端使用，支持英文和中文，在编程、智能体任务和长上下文上有提升，并有三档可调的思考级别。适合在本地运行模型的开发者。

Qwen3.6-27B-GGUF

unsloth · 工具包

在本地处理智能体编码和图文任务，是 Unsloth 提供的 Qwen3.6-27B 的 GGUF 文件，支持思考保留和长上下文。适合运行本地编码智能体的开发者。

Qwen3.5-4B-MTP-GGUF

unsloth · 工具包

Unsloth 制作的带多 token 预测的 Qwen3.5-4B 的 GGUF 文件，让 llama.cpp 使用推测解码，生成速度约快 1.5 到 2 倍。适合在本地运行小型多模态模型的人。

Qwen3-30B-A3B-GGUF

unsloth · 工具包

unsloth 量化的 Qwen3-30B-A3B GGUF 文件，用于在 llama.cpp、Ollama 或 Open WebUI 里运行本地聊天和推理模型，思考模式可以逐轮开关。

Qwen3-14B-GGUF

unsloth · 工具包

把 Qwen3 14B 做成 GGUF 文件，可在你自己的电脑上运行。这个文本生成模型既能深入思考难题，也能快速作答。由 unsloth 打包，适合在本地运行模型的人。

Qwen2.5-Coder-7B-Instruct-GGUF

unsloth · 工具包

在你自己的电脑上编写、解释和修复代码，是 Unsloth 提供的 Qwen2.5-Coder 7B 指令模型的 GGUF 副本。适合想要本地编码助手的开发者。

Olmo-3-32B-Think-GGUF

unsloth · 工具包

把 32.2B 参数的推理模型 Olmo 3 32B Think 做成 GGUF 文件，可以在你自己的电脑上运行。由 unsloth 打包，适合想本地使用 Apache 2.0 模型的人。

gemma-3-270m-it-GGUF

unsloth · 工具包

作为 268M 的指令微调 Gemma 3 模型，以 GGUF 格式根据提示词生成文本，小到可以在笔记本和台式机上运行。适合想要一个微型本地模型来运行或微调的开发者。

Sweep Next-Edit 1.5B (GGUF)

sweepai · 工具包

根据当前打开的文件、最近的改动和当前状态预测你的下一处代码修改，以 1.5B 的 Q8_0 GGUF 模型在本地运行。适合想在自己笔记本上获得编辑自动补全的开发者。

Qwen3-TTS GGUF

Serveurperso · 工具包

这个模型通过 C++ 运行时 qwentts.cpp，在 CPU、CUDA、Metal 或 Vulkan 上用多种语言朗读文本，有命名说话人和普通话方言，还能用一段短录音克隆声音。适合想在本地做文字转语音的开发者。

Qwen3-4B P9 Honeypot

samliumay · 工具包

一个用于 Qwen3-4B 的小型研究适配器，让模型充当诱饵。发现有人套取机密时，它会向本地收集器发出无声警报，然后给出编造的值。仅限实验室使用。

Unlimited-OCR-2-GGUF

RX5950XT · 工具包

Unlimited-OCR-2 文档 OCR 模型的 GGUF 文件，提供 BF16、Q8_0 和 Q4_K_M，并附视觉投影器。只能在应用了仓库补丁的 llama.cpp 里运行，适合在本地读取扫描和多页文档的人。

Flint INT4

RecursiveSI · 工具包

Recursive Flint 的 4-bit MLX 版本，约 22.6 GB，用于 Apple Silicon 本地运行，可通过 Rec 配合 pi 或 OpenCode 启动。适合想把 Flint 接入编程工具的 Mac 用户和开发者。

Qwen3.8-27B-mixed-3.5bpw-MLX

rapid-mlx · 工具包

一个压缩到每个权重 3.5 位的 27B 视觉语言模型，适用于 24 GB 内存的 Apple Silicon Mac，通过 Rapid-MLX 在本地提供服务。适合想要本地模型和智能体后端的 Mac 用户和开发者。

Qwen3-8B-MLX-bf16

Qwen · 工具包

通过 mlx 库运行 Qwen3 8B 语言模型，用于聊天、推理、翻译和智能体任务。适合想在本地使用可切换思考模式的文本模型的开发者。

Qwen3-30B-A3B-GGUF

Qwen · 工具包

一个 30.5B 的混合专家聊天模型，GGUF 格式，每个词元只激活 3.3B 参数，可在 llama.cpp 或 ollama 里运行。有思考和普通两种模式，适合机器配置较高的开发者。

Qwen3-0.6B-GGUF

Qwen · 工具包

一个 0.6B 的小型 GGUF 聊天模型，可在 llama.cpp 或 ollama 里本地运行，并能在思考和普通回复之间切换。适合硬件一般的用户和测试本地模型的开发者。

Qwen2.5-Coder-32B-Instruct-GGUF

Qwen · 工具包

一个 32B 代码聊天模型的 GGUF 版本，可用 llama.cpp 在本地运行。能根据简单请求编写、解释和修复代码，适合想在自己机器上运行的开发者。

Qwen2.5-Coder-0.5B-Instruct

Qwen · 工具包

这是一个仅 494M 参数的对话模型，能写代码、解释代码、修代码，上下文为 32,768 个 token。适合想在笔记本、测试环境或本地小助手里用最小开源 Qwen 编程模型的开发者。

AstrLink Guard

QuantumNous · 工具包

在 ONNX 中本地识别中文、英文和混合文本、代码、日志以及 AI 编程助手请求里的个人信息和凭据。适合在敏感数据离开机器前对它做遮盖的开发者。

Raptor-0.6-4B-JANG_6M

OsaurusAI · 工具包

能判断什么时候调用工具、什么时候直接回答、什么时候先问一句，由 4B 模型微调并量化，适用于运行 Osaurus 的 Apple Silicon Mac。适合在本地运行助手的人。

SenseNova-6.8-Code2Video GSQ-RCO GGUF

OliviaRossi · 工具包

以混合精度 GGUF 文件运行 26.9B 参数的 SenseNova-6.8-Code2Video 模型，可在终端聊天或启动本地服务。适合想在自己硬件上使用该模型的人。

RealVisXL V5.0 GGUF

off-grid-ai · 工具包

用 stable-diffusion.cpp 加上 RealVisXL V5.0 的 GGUF 副本，在你自己的电脑上根据文字生成图片。适合想在本地生成图片、并在更轻或更高质量的文件之间选择的人。

Juggernaut XL v9 GGUF

off-grid-ai · 工具包

用 stable-diffusion.cpp 加上 Juggernaut XL v9 的 GGUF 副本，在你自己的电脑上根据文字生成图片。适合想在本地生成图片、并在更轻或更高质量的文件之间选择的人。

nomic-embed-text-v1.5-GGUF

nomic-ai · 工具包

通过 llama.cpp 在你自己的机器上把句子变成向量，使用紧凑的 GGUF 文件，适合搜索和 RAG 提问。适合想要本地文本嵌入的开发者。

Qwen2-Audio-7B-GGUF

NexaAI · 工具包

在本地运行 Qwen2-Audio，用语音聊天并分析音频，包括语音翻译、转写和声音检测。这是用于 Nexa-SDK 的 GGUF 副本，适合想在自己设备上用音频 AI 的人。

Qwen3.8-Flash-Next-DFlash2-GGUF

nazeshinjite · 工具包

一个 GGUF 草稿模型，通过推测解码让 llama.cpp 里的 Qwen3.8-Flash-Next 更快，文件有 334 MiB 和 622 MiB 两种。它不是独立模型，适合在本地运行该目标模型的人。

Qwen3.8-27B Fable-5 Coding Distilled GGUF

mradermacher · 工具包

一个 27.3B、经过编程蒸馏的 Qwen3.8 模型的 GGUF 量化文件，从 2 位到 8 位，另有可选的多模态补充文件。适合在本地运行编程模型、需要一个放得进内存的尺寸的开发者。

VulnLLM-R-7B-8bit

mlx-community · 工具包

通过 mlx-lm 运行 VulnLLM-R-7B 的 8 位 MLX 版本，用于文本生成。适合想在本地试用该模型的开发者。模型卡没有说明它的训练用途。

Qwen3.6-35B-A3B-4bit

mlx-community · 工具包

Qwen3.6-35B-A3B 的 4-bit MLX 转换版，可在 Apple Silicon Mac 上回答文本和图片提示词。适合想用 mlx-vlm 在本地运行这个 Qwen 模型的人。

JevK5-chat-mlx-4bit

mlx-community · 工具包

4.2B 聊天模型 JevK5 的 4-bit MLX 版本，面向 Apple Silicon，上下文 262,144 token，内存占用小。适合想在入门级 Mac 上用本地聊天模型的用户。

flint-mixed-3-4bit

mlx-community · 工具包

社区制作的 Recursive Flint 40B 编程模型 MLX 版本，把专家层压到 3 位，可在 24 GB 或 32 GB 的 Apple Silicon Mac 上运行。适合想在 Mac 上用本地编程模型的开发者。

clef-flash-4bit

mlx-community · 工具包

Cloudflare 的 clef-flash 的 4 位 MLX 版本，在 Apple Silicon Mac 上把一个状态和带类型的问题变成每个允许答案的概率。不是聊天模型。用自带的加载器在本地运行。

Muse Glimmer 30B GGUF

meta-models · 工具包

一个 300 亿参数智能体模型的 GGUF 版本，供 llama.cpp 使用，附带可选的图像编码器和推测解码草稿模型。适合在 24 GB 显卡上本地运行模型的人。

dale-9b (GGUF)

manuelgscom · 工具包

把西班牙语或英语请求变成一条 Linux bash 命令，以小型 JSON 对象返回。适合想要在 CPU 或 GPU 上运行本地命令助手的终端用户和开发者。

askmdb-9b-GGUF

manuelgscom · 工具包

根据西班牙语或英语的日常提问，写出只读的 MongoDB 聚合管道。这是 Qwen3.5-9B 微调版的 GGUF 副本，可用 llama.cpp 在本地运行，适合想用日常语言查询数据的开发者。

Maincoder-1B

Maincode · 工具包

根据函数签名或文档字符串补全并编写 Python 代码。这是 Maincode 的 1B 代码模型，小到能在消费级硬件上运行，适合想在本地做代码补全的开发者。

Qwen3.8-27B-MLX-8bit

lmstudio-community · 工具包

在 Apple Silicon Mac 上运行 8 位 MLX 版本的 27B 图文模型，适合想在本地回答图片问题的人。

ColGrep-Agent-2B

lightonai · 工具包

一个 2.5B 参数的模型，通过搜索和阅读代码仓库，找出与缺陷报告或问题相关的文件和行范围。通过 ColGrep 在本地运行。

Qwen3.8-27B-oQ8e-mtp

Jundot · 工具包

把 Qwen3.8-27B 做成 8 位混合精度的 MLX 检查点，带视觉编码器和 MTP 头，用于苹果硬件上的图文聊天。适合想在本地得到接近完整质量的人。