AI 智能体技能、规则与提示词工具包

Nanbeige4.3-33B-GGUF-UltraOptimised-Curated-Protium

SolsticeAI · 工具包

为 llama.cpp 和 Ollama 提供 33.1B 的 Nanbeige4.3 模型的 GGUF 量化文件，附带一套推理协议和最高 524,288 个词元的上下文。适合在本地运行编程模型的开发者。

Qwen2.5-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5 1.5B 小型对话模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本或普通 GPU 上运行。适合想要轻量本地助手的人。

Ornith-1.5-35B-A3B-GSQ-RCO-GGUF

pfeifferj · 工具包

把 Ornith-1.5-35B-A3B 文本模型压缩成 3 位和 3.5 位的 GGUF 文件，约 13 GB 和 15 GB，而不是 69 GB，适合用 llama.cpp 运行本地模型的人。

ttf-Qwen3.8-Flash-Next-GGUF

oguzeldereli · 工具包

用一个 40.4 GB 的 GGUF 文件运行被压成三值权重的 180B 混合专家模型 Qwen3.8-Flash-Next，比 FP8 版本小 4.6 倍。适合配合打过补丁的 llama.cpp 在本地使用。

Hermes-3-Llama-3.1-8B-GGUF

NousResearch · 工具包

把 NousResearch 的 8B 通用聊天模型 Hermes 3 做成量化 GGUF 文件，供 llama.cpp 使用。适合想在本机用函数调用、结构化输出和代码帮助的人。

Hermes 3 Llama-3.1 8B

NousResearch · 工具包

Nous Research 基于 Llama 3.1 的 8B 通用对话模型，支持函数调用、结构化输出、角色扮演和代码辅助。适合想要一个可以自己运行、可引导的开放助手的开发者。

Qwen3.8-27B-GGUF

bartowski · 工具包

bartowski 制作的 Qwen3.8-27B 的一组 GGUF 量化版本，从 Q8_0 到 3-bit，用重要性矩阵生成。适合在本地用 llama.cpp 运行 27B 视觉语言模型的人。

Jackrong_Qwopus3.8-27B-Coder-Flash-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Jackrong 的 Qwopus3.8-27B-Coder-Flash 制作的 GGUF 量化版本，大小从 17 GB 到 55 GB。适合在本地用 llama.cpp 运行 27B 模型。

Qwen3.5-9B-MTP-GGUF

unsloth · 工具包

Qwen3.5 9B 的 GGUF 版本，支持在 llama.cpp 里用多词元预测做推测解码，生成更快。适合会自己构建 llama.cpp、想在本地运行这个模型的人。

Qwen3.8-27B-exl3

turboderp · 工具包

Qwen3.8-27B 的 EXL3 量化版本，提供从 1.40 到 6.00 的多种每权重比特数。适合在显存有限的 GPU 上用 ExLlamaV3 本地运行 27B 模型的人。

Bonsai-27B-gguf

prism-ml · 工具包

把 27B 级推理模型做成约 3.9 GB 的 1-bit GGUF 文件，在 llama.cpp 上运行，笔记本或一张显卡就能放下。适合想在日常硬件上做本地推理的人。

DeepSeek-V4.1-Flash-1017 EXL3 EAQ v1 2.9 bpw

Mia-AiLab · 工具包

DeepSeek-V4.1-Flash-1017 的 2.9 bits-per-weight EXL3 量化版本，能读取文本和图片。它把模型压缩到约 210 GB，供 exllamav3 运行时使用，模型卡还测量了它与原模型的贴近程度。

Qwen3.8-27B-GGUF

lmstudio-community · 工具包

Qwen 的 Qwen3.8-27B 的 GGUF 量化版本，由 LM Studio 团队用 llama.cpp 制作，适合在自己电脑上运行 27B 模型的人。

Raon-1 mini (GGUF)

KRAFTON · 工具包

在 llama.cpp 中运行一个 28.8B 的混合专家模型，针对韩语对话、推理和调用工具的智能体做过优化。这是 Raon-1 mini preview 的 GGUF 版本，适合在自己电脑上运行模型的人。

Sage-A1.5 GGUF (Q4_K_M)

InternScience · 工具包

以 4-bit GGUF 文件运行 Sage-A1.5，这是面向长篇科学任务的 35B 混合专家智能体模型。它能把工作分给子智能体并检查自己的进展，适用于 llama.cpp、Ollama 和 LM Studio。

Qwen3.8-2B-Distill-GGUF

empero-ai · 工具包

在手机、笔记本和单板计算机上运行小型 2B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp。

Nanbeige_Nanbeige4.3-33B-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Nanbeige4.3-33B 制作的 GGUF 量化版本，大小约从 21 GB 到 66 GB。适合在本地用 llama.cpp 运行 33B 的中英文文本模型。

TinyLlama-1.1B-Chat-v1.0

TinyLlama · 工具包

以小型 1.1B 语言模型的身份用纯文本聊天，运行时占用内存很少。适合想要基于 Llama 风格基础模型的紧凑聊天模型的开发者和研究人员。

Llama-V-JEPA-LM-Qwen3-4B

kkt94 · 工具包

用一个 5.1B 的模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Qwen3-4B-Instruct-2507 上，适合有 16 GB 以上 GPU 的人。

Llama-V-JEPA-LM-Qwen3-1.7B

kkt94 · 工具包

用一个 2B 的模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Qwen3-1.7B 上，适合只有一块普通 GPU 的人。

Llama-V-JEPA-LM-Llama3.2-3B

kkt94 · 工具包

用一个 4.2B 的模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Llama-3.2-3B-Instruct 上，适合只有一块 12 GB 以上 GPU 的人。

Llama-V-JEPA-LM-Llama3.2-1B

kkt94 · 工具包

用一个 1.5B 的小模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Llama-3.2-1B-Instruct 上，适合只有一块普通 GPU 的人。

Qwen3.5-0.8B Astra Weight Edit

JonathanColetti · 工具包

直接编辑两个权重张量，不经训练，修复 Qwen3.5-0.8B 在思考模式下陷入的重复循环。这是一个小型图文模型，可用于 Transformers、vLLM、llama.cpp 和浏览器。

Qwen3.8-27B-GGUF

ggml-org · 工具包

以 GGUF 文件形式运行 Qwen3.8-27B，这是一个 26.9B 的模型，能读图片和文字并用文字回复，通过 llama 工具在本机使用，适合想把它放在自己电脑上的你。

Qwen3.8-4B-Distill-GGUF

empero-ai · 工具包

在笔记本或中端显卡上运行 4B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp 等应用。

gemma-4-12B-it-qat-GGUF

unsloth · 工具包

Gemma 4 12B 的 GGUF 版本，经过量化感知训练，4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人，附带加快输出的草稿文件。

Bielik-11B-v3.1-Instruct GGUF

speakleash · 工具包

能用波兰语、英语和另外六种语言回答的聊天模型，打包成五种大小的 GGUF 文件，供 llama.cpp 或 Ollama 使用。适合想在自己电脑上用指令模型的人。

Llama-V-JEPA-LM-Llama3.1-8B

kkt94 · 工具包

把冻结的 V-JEPA 2.1 视频编码器接到 Llama-3.1-8B-Instruct 上，用来回答关于视频片段的问题，适合做视频理解的人。

Qwen3-8B-GGUF

Qwen · 工具包

在 llama.cpp 或 Ollama 中运行量化后的 Qwen3-8B GGUF 文件，有用于数学、代码和逻辑的思考模式，也有用于聊天的普通模式。适合想要本地模型并能选择文件大小的人。

Llama-V-JEPA-LM-Qwen3-8B

kkt94 · 工具包

用一个 9.2B 的模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Qwen3-8B 上，适合有 24 GB 以上 GPU 的人。

Qwen3.8-9B-Distill-GGUF

empero-ai · 工具包

Empero 的 Qwen3.8-9B 的 GGUF 量化版本，一个由更大的 Qwen3.8 蒸馏到 Qwen3.5-9B 架构里的推理模型，适用于 llama.cpp、Ollama、LM Studio 等工具。

ZONOS3-Mini GGUF

AtomicChat · 工具包

把 ZONOS3-Mini 文本转语音模型打包成适用于 llama.cpp 的 GGUF 文件，内置 27 种声音，有从 0.41 到 1.61 GB 的六种主干大小。适合在本地运行语音的开发者。

Qwen3.8-35B-A3B-Distill-GGUF

empero-ai · 工具包

用十种尺寸的 GGUF 文件运行一个 35B 混合专家模型，每个 token 约 3B 参数在工作，另附视觉投影文件。适合 llama.cpp、Ollama、LM Studio、Jan 和 KoboldCpp 用户。

Qwen3.6-35B-A3B-MTP-GGUF

unsloth · 工具包

通过 Unsloth 的 GGUF 文件在本地运行 Qwen3.6-35B-A3B，带多词元预测，让 llama.cpp 解码更快。适合想要本地智能体编程模型的开发者。

Qwen2.5-Coder-7B-Instruct-GGUF

Qwen · 工具包

在你自己的电脑上运行 Qwen 的 7B 指令微调编程模型，打包成 GGUF 文件，有八种量化等级。适合想通过 llama.cpp 获得代码帮助的开发者。

Thinklite-27B-GGUF

Sparset · 工具包

Thinklite-27B 的 4 位 GGUF 版本，适用于 llama.cpp，每次回答比基础模型用更少的推理，适合在本地运行 27B 文本模型的人。

S5-nano-GGUF

maritaca-ai · 工具包

用 2.8 到 8.7 GB 的 GGUF 文件，在 llama.cpp 和兼容应用里运行 Maritaca AI 的 S5-nano，这是一个针对巴西葡萄牙语调优、带函数调用和思考模式的 4B 模型。

MNN-Pocket-0.3B-GGUF

taobao-mnn · 工具包

用 192 到 726 MB 的 GGUF 文件运行一个紧凑的 0.3B 中英文语言模型，专为手机、笔记本等设备端使用而做，可配合 llama.cpp、LM Studio 或 ollama。

BotPsy-0.8B-GGUFs

qvac · 工具包

0.8B 工具调用模型 BotPsy 的 GGUF 版本，提供 BF16、Q8_0 和 Q4_K_M 三种文件，用 llama.cpp 在你自己的设备上完整运行智能体和函数调用任务。

Raon-1 nano (GGUF)

KRAFTON · 工具包

把 Raon-1 nano 语言模型打包成适用于 llama.cpp 的 GGUF 文件，让开发者在自己的电脑上运行韩英双语聊天模型。列出了四种量化类型。

Ripple-65B-Preview-GGUF

AtomicChat · 工具包

65B 智能体编程模型 Ripple Preview 的 GGUF 量化文件，用 llama.cpp 在本地运行，适合在自己硬件上运行大型开源模型的人。

Agents Course Notebooks

agents-course · 工具包

汇集 Hugging Face Agents Course 的笔记本，涵盖一个示例智能体库、smolagents、LlamaIndex、LangGraph 和两个加分单元。适合想动手构建 AI 智能体的学习者。

Qwen3.8-27B GGUF (ShapeLearn Quantized)

byteshape · 工具包

用 ByteShape 的 ShapeLearn 量化出的 Qwen3.8-27B GGUF 文件，提供五种适合不同显卡的版本，在 llama.cpp 里支持图片输入和 MTP 推测解码。适合在自己的显卡上运行它的人。

Qwen3.8-27B-DSpine-b16-GGUF

aj9o9 · 工具包

一个 GGUF 草稿模型，通过推测解码在 llama.cpp 里加速 Qwen3.8-27B，在一块 RTX 3090 上处理代码和数学时约每秒 125 个 token，适合在本地运行 Qwen3.8-27B 的人。

Qwen3.8-27B-GSQ-RCO-GGUF

ISTA-DASLab · 工具包

ISTA-DASLab 制作的 Qwen3.8-27B GGUF 版本，共四种大小，每个张量用各自的精度量化，并带有处理图片的视觉投影文件。适合在 llama.cpp、Ollama 或 LM Studio 里本地运行模型的人。

KVPress Leaderboard

nvidia · 工具包

展示一个排行榜，用 Llama-3.1-8B-Instruct 和 Qwen3-8B 对比语言模型的 KV 缓存压缩方法。适合比较缩减模型所需内存方式的研究者和工程师。

VideoLLaMA2

lixin4ever · 工具包

一个基于 VideoLLaMA2 模型、用来理解视频等媒体内容的聊天应用。在浏览器里以 Gradio 应用在 ZeroGPU 上运行，适合想就视频片段提问的人。

Llama logo

ggml-org · 工具包

以一个可以探索的页面展示 Llama 图标是怎样构建的，从加号和字母 L 到最终的标志。适合使用或研究这个标志的设计师和开发者。

Joy Caption Pre Alpha

fancyfeast · 工具包

一个早期演示，把 SigLIP 视觉模型和 Llama 3.1 8B 搭在一起，看起来是用来给图片写说明文字的。这是 Hugging Face 上的 Gradio 应用，名字里就标明了 pre-alpha。

PROMPT++

baconnier · 工具包

用元提示路由器和精炼器，调用 Zephyr、Llama 等开放模型来优化你写给 AI 模型的提示词。适合想让提示词更清晰的人。

SADIK AI

SadikNawazAI · 工具包

一个多语言聊天助手，通过 WebAssembly 完全在你的浏览器里运行，所以你的消息留在你的设备上。也可以通过 Ollama 和本地 API 使用。

一个 n8n 工作流，用你自己 Ollama 服务器上的模型，根据一个主题为 X、LinkedIn、Reddit 和 Instagram 写草稿帖子。第二遍会把它们再读一次并改正错误。它不会替你发帖。

一个 n8n 工作流，用 LlamaParse 读取 Gmail 里的发票 PDF，让 OpenAI 模型提取字段，并在 Google Sheets 里加一行数据。然后把邮件标为已处理。

一个 n8n 工作流，通过 IMAP 读取最近一天的收件箱，把促销邮件静音，再让你自己机器上的 Ollama 模型判断哪些邮件串需要处理。紧急的发到 Telegram，Telegram 失败时发到 ntfy。

一个 n8n 工作流，用本地 Ollama 模型整理 Outlook 邮件。它给每封未整理的邮件设一个分类，再把垃圾邮件、收据、SaaS 和社区邮件移到你选的文件夹里。

一个 n8n 工作流：用你自己电脑上通过 Ollama 运行的模型给每封新邮件打标签，丢掉垃圾邮件，并为其余邮件起草回复。什么也不会发出。

一个 n8n 聊天：每条消息都发给你自己 Ollama 服务器上的 Llama 3.2。模型把回答写成一个 JSON 对象，聊天里显示你的提问、模型的回答和它出自的 JSON。

一块 n8n 画布，四种接入 DeepSeek 的方式：Ollama 上的本地 R1 模型回答聊天，两个直接调用 API 的请求（开思考和关思考），还有一个带记忆的智能体。

一个有两个节点的 n8n 工作流，让通过 Ollama 在你自己电脑上运行的模型写一段简短的欢迎语。它是测试 n8n 能否连上 Ollama 的最小办法。

一个手动启动的 n8n 工作流：它从 GitHub 仓库读一份 Markdown 提示词，把里面的双花括号占位符换成你设好的值。随后 Ollama 上的一个 AI 智能体运行填好的提示词。

一个带聊天框的 n8n 工作流：输入一条消息，在你自己的 Ollama 里运行的 Mistral NeMo 就以 JSON 返回姓名、联系方式、主题和时间。文字只在 n8n 和你的 Ollama 之间流动。

一个 n8n 工作流，用你自己机器上的 Ollama 模型，把一段文本和一份源文档逐句核对。一个事实核查模型给每句标 Yes 或 No，第二个模型再把标为 No 的句子总结出来。

一个带聊天窗口的 n8n 工作流。每条消息经由 Basic LLM Chain 发给你自己机器上 Ollama 提供的模型，回答回到同一个窗口。

一个在你自己电脑上写博客文章的 n8n 工作流。设好主题、语气和长度，Ollama 的 llama3:8b 就会研究主题、列大纲、写草稿并修改。不需要 API 密钥，也不需要账号。

一个带聊天智能体的 n8n 工作流，智能体跑在本地的 Ollama 模型上。它算出一个地点的经纬度，从 Open-Meteo 读一天的气温，并用 Wikipedia 回答一般问题。记忆保存最近 20 轮对话。

MiniCPM-V 端侧多模态模型

OpenBMB · 工具包

OpenBMB 的开源多模态模型。MiniCPM-V 4.7 能读图片、文档和视频，MiniCPM-o 4.5 还能听、能说。安装说明涵盖 Transformers、Ollama、llama.cpp、vLLM、SGLang、托管 API 和手机应用。

bitnet.cpp 1 比特推理框架

microsoft · 工具包

微软官方的 1 比特大模型推理框架，基于 llama.cpp。它能在 x86 和 ARM CPU 上运行 BitNet b1.58 这类三值模型，也有 GPU 内核。这份说明涵盖 Windows、Linux、GPU 内核和嵌入模型的安装步骤。

Ollama 本地与云端运行开源模型

ollama · 工具包

Ollama 的 MIT 许可应用和命令行，能在你自己的电脑上运行开源模型，登录后也能用 Ollama 的云端。安装说明涵盖 macOS、Windows、Linux 和 Docker，以及在它的模型上启动 Claude Code、Codex、Copilot CLI 和 OpenCode。

Awesome LLM Apps 智能体示例

Shubhamsaboo · 工具包

Shubham Saboo 的开源合集，收录 AI 智能体、智能体技能和 RAG 应用，大部分各在自己的文件夹里，带一份 README。安装说明涵盖 Claude Code、Codex 和 Cursor 的技能、Python 应用、本地 Ollama 应用、一个 MCP 智能体和一套 Google ADK 课程。