AI 智能体技能、规则与提示词工具包

Qwen3.5-0.8B Astra Weight Edit

JonathanColetti · 工具包

直接编辑两个权重张量，不经训练，修复 Qwen3.5-0.8B 在思考模式下陷入的重复循环。这是一个小型图文模型，可用于 Transformers、vLLM、llama.cpp 和浏览器。

Qwen3.8-27B-GGUF

ggml-org · 工具包

以 GGUF 文件形式运行 Qwen3.8-27B，这是一个 26.9B 的模型，能读图片和文字并用文字回复，通过 llama 工具在本机使用，适合想把它放在自己电脑上的你。

Qwen3.8-4B-Distill-GGUF

empero-ai · 工具包

在笔记本或中端显卡上运行 4B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp 等应用。

gemma-4-12B-it-qat-GGUF

unsloth · 工具包

Gemma 4 12B 的 GGUF 版本，经过量化感知训练，4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人，附带加快输出的草稿文件。

Bielik-11B-v3.1-Instruct GGUF

speakleash · 工具包

能用波兰语、英语和另外六种语言回答的聊天模型，打包成五种大小的 GGUF 文件，供 llama.cpp 或 Ollama 使用。适合想在自己电脑上用指令模型的人。

Llama-V-JEPA-LM-Llama3.1-8B

kkt94 · 工具包

把冻结的 V-JEPA 2.1 视频编码器接到 Llama-3.1-8B-Instruct 上，用来回答关于视频片段的问题，适合做视频理解的人。

Qwen3-8B-GGUF

Qwen · 工具包

在 llama.cpp 或 Ollama 中运行量化后的 Qwen3-8B GGUF 文件，有用于数学、代码和逻辑的思考模式，也有用于聊天的普通模式。适合想要本地模型并能选择文件大小的人。

Llama-V-JEPA-LM-Qwen3-8B

kkt94 · 工具包

用一个 9.2B 的模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Qwen3-8B 上，适合有 24 GB 以上 GPU 的人。

Qwen3.8-9B-Distill-GGUF

empero-ai · 工具包

Empero 的 Qwen3.8-9B 的 GGUF 量化版本，一个由更大的 Qwen3.8 蒸馏到 Qwen3.5-9B 架构里的推理模型，适用于 llama.cpp、Ollama、LM Studio 等工具。

ZONOS3-Mini GGUF

AtomicChat · 工具包

把 ZONOS3-Mini 文本转语音模型打包成适用于 llama.cpp 的 GGUF 文件，内置 27 种声音，有从 0.41 到 1.61 GB 的六种主干大小。适合在本地运行语音的开发者。

Qwen3.8-35B-A3B-Distill-GGUF

empero-ai · 工具包

用十种尺寸的 GGUF 文件运行一个 35B 混合专家模型，每个 token 约 3B 参数在工作，另附视觉投影文件。适合 llama.cpp、Ollama、LM Studio、Jan 和 KoboldCpp 用户。

Qwen3.6-35B-A3B-MTP-GGUF

unsloth · 工具包

通过 Unsloth 的 GGUF 文件在本地运行 Qwen3.6-35B-A3B，带多词元预测，让 llama.cpp 解码更快。适合想要本地智能体编程模型的开发者。

Qwen2.5-Coder-7B-Instruct-GGUF

Qwen · 工具包

在你自己的电脑上运行 Qwen 的 7B 指令微调编程模型，打包成 GGUF 文件，有八种量化等级。适合想通过 llama.cpp 获得代码帮助的开发者。

Thinklite-27B-GGUF

Sparset · 工具包

Thinklite-27B 的 4 位 GGUF 版本，适用于 llama.cpp，每次回答比基础模型用更少的推理，适合在本地运行 27B 文本模型的人。

S5-nano-GGUF

maritaca-ai · 工具包

用 2.8 到 8.7 GB 的 GGUF 文件，在 llama.cpp 和兼容应用里运行 Maritaca AI 的 S5-nano，这是一个针对巴西葡萄牙语调优、带函数调用和思考模式的 4B 模型。

MNN-Pocket-0.3B-GGUF

taobao-mnn · 工具包

用 192 到 726 MB 的 GGUF 文件运行一个紧凑的 0.3B 中英文语言模型，专为手机、笔记本等设备端使用而做，可配合 llama.cpp、LM Studio 或 ollama。

BotPsy-0.8B-GGUFs

qvac · 工具包

0.8B 工具调用模型 BotPsy 的 GGUF 版本，提供 BF16、Q8_0 和 Q4_K_M 三种文件，用 llama.cpp 在你自己的设备上完整运行智能体和函数调用任务。

Raon-1 nano (GGUF)

KRAFTON · 工具包

把 Raon-1 nano 语言模型打包成适用于 llama.cpp 的 GGUF 文件，让开发者在自己的电脑上运行韩英双语聊天模型。列出了四种量化类型。

Ripple-65B-Preview-GGUF

AtomicChat · 工具包

65B 智能体编程模型 Ripple Preview 的 GGUF 量化文件，用 llama.cpp 在本地运行，适合在自己硬件上运行大型开源模型的人。

Agents Course Notebooks

agents-course · 工具包

汇集 Hugging Face Agents Course 的笔记本，涵盖一个示例智能体库、smolagents、LlamaIndex、LangGraph 和两个加分单元。适合想动手构建 AI 智能体的学习者。