AI 智能体技能、规则与提示词工具包

Nanbeige4.3-33B-GGUF-UltraOptimised-Curated-Protium

SolsticeAI · 工具包

为 llama.cpp 和 Ollama 提供 33.1B 的 Nanbeige4.3 模型的 GGUF 量化文件，附带一套推理协议和最高 524,288 个词元的上下文。适合在本地运行编程模型的开发者。

Qwen2.5-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5 1.5B 小型对话模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本或普通 GPU 上运行。适合想要轻量本地助手的人。

Ornith-1.5-35B-A3B-GSQ-RCO-GGUF

pfeifferj · 工具包

把 Ornith-1.5-35B-A3B 文本模型压缩成 3 位和 3.5 位的 GGUF 文件，约 13 GB 和 15 GB，而不是 69 GB，适合用 llama.cpp 运行本地模型的人。

ttf-Qwen3.8-Flash-Next-GGUF

oguzeldereli · 工具包

用一个 40.4 GB 的 GGUF 文件运行被压成三值权重的 180B 混合专家模型 Qwen3.8-Flash-Next，比 FP8 版本小 4.6 倍。适合配合打过补丁的 llama.cpp 在本地使用。

Hermes-3-Llama-3.1-8B-GGUF

NousResearch · 工具包

把 NousResearch 的 8B 通用聊天模型 Hermes 3 做成量化 GGUF 文件，供 llama.cpp 使用。适合想在本机用函数调用、结构化输出和代码帮助的人。

Hermes 3 Llama-3.1 8B

NousResearch · 工具包

Nous Research 基于 Llama 3.1 的 8B 通用对话模型，支持函数调用、结构化输出、角色扮演和代码辅助。适合想要一个可以自己运行、可引导的开放助手的开发者。

Qwen3.8-27B-GGUF

bartowski · 工具包

bartowski 制作的 Qwen3.8-27B 的一组 GGUF 量化版本，从 Q8_0 到 3-bit，用重要性矩阵生成。适合在本地用 llama.cpp 运行 27B 视觉语言模型的人。

Jackrong_Qwopus3.8-27B-Coder-Flash-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Jackrong 的 Qwopus3.8-27B-Coder-Flash 制作的 GGUF 量化版本，大小从 17 GB 到 55 GB。适合在本地用 llama.cpp 运行 27B 模型。

Qwen3.5-9B-MTP-GGUF

unsloth · 工具包

Qwen3.5 9B 的 GGUF 版本，支持在 llama.cpp 里用多词元预测做推测解码，生成更快。适合会自己构建 llama.cpp、想在本地运行这个模型的人。

Qwen3.8-27B-exl3

turboderp · 工具包

Qwen3.8-27B 的 EXL3 量化版本，提供从 1.40 到 6.00 的多种每权重比特数。适合在显存有限的 GPU 上用 ExLlamaV3 本地运行 27B 模型的人。

Bonsai-27B-gguf

prism-ml · 工具包

把 27B 级推理模型做成约 3.9 GB 的 1-bit GGUF 文件，在 llama.cpp 上运行，笔记本或一张显卡就能放下。适合想在日常硬件上做本地推理的人。

DeepSeek-V4.1-Flash-1017 EXL3 EAQ v1 2.9 bpw

Mia-AiLab · 工具包

DeepSeek-V4.1-Flash-1017 的 2.9 bits-per-weight EXL3 量化版本，能读取文本和图片。它把模型压缩到约 210 GB，供 exllamav3 运行时使用，模型卡还测量了它与原模型的贴近程度。

Qwen3.8-27B-GGUF

lmstudio-community · 工具包

Qwen 的 Qwen3.8-27B 的 GGUF 量化版本，由 LM Studio 团队用 llama.cpp 制作，适合在自己电脑上运行 27B 模型的人。

Raon-1 mini (GGUF)

KRAFTON · 工具包

在 llama.cpp 中运行一个 28.8B 的混合专家模型，针对韩语对话、推理和调用工具的智能体做过优化。这是 Raon-1 mini preview 的 GGUF 版本，适合在自己电脑上运行模型的人。

Sage-A1.5 GGUF (Q4_K_M)

InternScience · 工具包

以 4-bit GGUF 文件运行 Sage-A1.5，这是面向长篇科学任务的 35B 混合专家智能体模型。它能把工作分给子智能体并检查自己的进展，适用于 llama.cpp、Ollama 和 LM Studio。

Qwen3.8-2B-Distill-GGUF

empero-ai · 工具包

在手机、笔记本和单板计算机上运行小型 2B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp。

Nanbeige_Nanbeige4.3-33B-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Nanbeige4.3-33B 制作的 GGUF 量化版本，大小约从 21 GB 到 66 GB。适合在本地用 llama.cpp 运行 33B 的中英文文本模型。

TinyLlama-1.1B-Chat-v1.0

TinyLlama · 工具包

以小型 1.1B 语言模型的身份用纯文本聊天，运行时占用内存很少。适合想要基于 Llama 风格基础模型的紧凑聊天模型的开发者和研究人员。

Llama-V-JEPA-LM-Qwen3-4B

kkt94 · 工具包

用一个 5.1B 的模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Qwen3-4B-Instruct-2507 上，适合有 16 GB 以上 GPU 的人。

Llama-V-JEPA-LM-Qwen3-1.7B

kkt94 · 工具包

用一个 2B 的模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Qwen3-1.7B 上，适合只有一块普通 GPU 的人。