AI 智能体技能、规则与提示词工具包

Qwen2.5-7B-Instruct-GGUF

Qwen · 工具包

Qwen2.5-7B-Instruct 的 GGUF 文件，提供八种量化大小，可通过 llama.cpp 在本地聊天。适合想在自己电脑上用 7.6B 强力模型、又不想搭 Python 环境的人。

Meta-Llama-3.1-8B-Instruct-AWQ-INT4

hugging-quants · 工具包

以 4 位 AWQ 形式运行 Meta 的 Llama 3.1 8B Instruct 聊天模型，只需约 4 GiB 的 GPU 空闲显存来放权重。适合想要紧凑多语言聊天模型的开发者。

Dodaios

Dodaios · 工具包

开源的智能体操作系统，让你用语音或聊天指挥编码智能体、浏览器和其他桌面应用，每一次系统改动都要等你批准。

gemma-4-26B-A4B-it Cactus CQ

Cactus-Compute · 工具包

Google gemma-4-26B-A4B-it 聊天模型的 2 位、3 位和 4 位压缩副本，使用 Cactus 权重格式。专为通过 Cactus 运行时在 ARM 设备上运行而做。

Ornith-1.5-9B-GGUF

AtomicChat · 工具包

Ornith 1.5 9B 的 GGUF 版本，这是一个能读图像和文字的模型，文件大小从 2.81 GB 到 17.9 GB，另有视觉投影文件。选一个适合你显存的文件，在本地运行。

send-gate-307m

yamura4 · 工具包

检查荷兰语、佛兰芒语和英语的青少年聊天消息，返回拦截或放行，能发现有害用语以及分享的地址、IP 和链接。适合构建儿童安全聊天应用的人。

SmolLM3-3B-GGUF

unsloth · 工具包

用 SmolLM3 聊天和推理，这是个完全开放的 3B 模型，可以一步步思考，也可以直接回答，提供 Unsloth 制作的 GGUF 文件，带聊天模板修复。能处理长文本和六种语言。

Qwen3-30B-A3B-GGUF

unsloth · 工具包

unsloth 量化的 Qwen3-30B-A3B GGUF 文件，用于在 llama.cpp、Ollama 或 Open WebUI 里运行本地聊天和推理模型，思考模式可以逐轮开关。

Llama-3.2-3B-Instruct-GGUF

unsloth · 工具包

用 Meta 的紧凑模型 Llama 3.2 3B 指令版聊天、总结和回答问题，提供 Unsloth 制作的 GGUF 文件，从 2 位到 16 位。小到普通笔记本也能用。

Clef-LoRA-for-Qwen3.8-27B-GGUF

trevest · 工具包

把 Cloudflare Clef 的决策头加到 Qwen3.8-27B 聊天模型上，让一台 24 GB GPU 上的 llama.cpp 服务器既能回答带类型的问题，也能聊天。它是 LoRA 适配器，不是独立模型。

Llama-3.1-8B-Stheno-v3.4

Sao10K · 工具包

写故事，并在多轮对话中扮演角色。这是一个面向创意写作和角色扮演的 8B Llama 3.1 微调模型，适合在自己机器上运行模型的爱好者。

Chatterbox-Nano

ResembleAI · 工具包

这个 110M 参数的模型在普通 CPU 上朗读英文文本，并能通过文本里的标签加入笑声和咳嗽声。适合需要快速设备端语音、内存和延迟预算都很紧的开发者。

Chatterbox-Flash

ResembleAI · 工具包

一个零样本英语文字转语音模型，能从简短参考片段复制声音，并按块低延迟流式输出音频。适合开发语音助手和旁白工具的开发者。

Qwen3.8-27B-NVFP4

RadixArk · 工具包

Qwen3.8-27B 的预量化 NVFP4 版本，能读取文字、图片和视频并用文字回答，通过 SGLang 在 NVIDIA Blackwell 显卡上提供服务。适合在该硬件上运行智能体、聊天机器人和 RAG 的开发者。

Qwen3-8B-MLX-bf16

Qwen · 工具包

通过 mlx 库运行 Qwen3 8B 语言模型，用于聊天、推理、翻译和智能体任务。适合想在本地使用可切换思考模式的文本模型的开发者。

Qwen3-30B-A3B-GGUF

Qwen · 工具包

一个 30.5B 的混合专家聊天模型，GGUF 格式，每个词元只激活 3.3B 参数，可在 llama.cpp 或 ollama 里运行。有思考和普通两种模式，适合机器配置较高的开发者。

Qwen3-0.6B-GGUF

Qwen · 工具包

一个 0.6B 的小型 GGUF 聊天模型，可在 llama.cpp 或 ollama 里本地运行，并能在思考和普通回复之间切换。适合硬件一般的用户和测试本地模型的开发者。

Qwen2.5-Coder-32B-Instruct-GGUF

Qwen · 工具包

一个 32B 代码聊天模型的 GGUF 版本，可用 llama.cpp 在本地运行。能根据简单请求编写、解释和修复代码，适合想在自己机器上运行的开发者。

Qwen2.5-Coder-0.5B-Instruct

Qwen · 工具包

这是一个仅 494M 参数的对话模型，能写代码、解释代码、修代码，上下文为 32,768 个 token。适合想在笔记本、测试环境或本地小助手里用最小开源 Qwen 编程模型的开发者。

Qwen2.5-7B-Instruct-AWQ

Qwen · 工具包

Qwen2.5-7B-Instruct 的 4 位 AWQ 版本，一个 7.6B 的聊天模型，能遵循指令、处理表格并返回 JSON。适合想要更小内存占用的强力聊天模型的开发者。

Qwen2.5-14B-Instruct

Qwen · 工具包

这是一个 14.7B 参数的对话模型，能回答问题、写代码、做数学题并输出结构化 JSON，上下文最长 131,072 个 token。适合想自己运行开源模型的开发者。

PII-Tracer

perplexity-ai · 工具包

在聊天对话里找出个人数据并遮盖，用一个 600M 参数的编码器，带词元标注和敏感度打分。适合在使用前清理对话日志的团队。

SenseNova-6.8-Code2Video GSQ-RCO GGUF

OliviaRossi · 工具包

以混合精度 GGUF 文件运行 26.9B 参数的 SenseNova-6.8-Code2Video 模型，可在终端聊天或启动本地服务。适合想在自己硬件上使用该模型的人。

DeepSeek-V4.1-Flash-NVFP4

nvidia · 工具包

读取文本和图像并输出文本，是 NVIDIA 制作的 DeepSeek-V4.1-Flash 的 NVFP4 精简版本。适合在 NVIDIA Blackwell GPU 上部署智能体、聊天机器人和检索系统的开发者。

Qwen2-Audio-7B-GGUF

NexaAI · 工具包

在本地运行 Qwen2-Audio，用语音聊天并分析音频，包括语音翻译、转写和声音检测。这是用于 Nexa-SDK 的 GGUF 副本，适合想在自己设备上用音频 AI 的人。

Agaram 2.5B

murai-labs · 工具包

能用泰米尔文、罗马化泰米尔语和英语聊天，也能在泰米尔语和英语之间翻译。这是 Murai Labs 从零训练的 2.5B 模型，适合泰米尔语使用者、研究人员和开发者。

JevK5-chat-mlx-4bit

mlx-community · 工具包

4.2B 聊天模型 JevK5 的 4-bit MLX 版本，面向 Apple Silicon，上下文 262,144 token，内存占用小。适合想在入门级 Mac 上用本地聊天模型的用户。

clef-flash-4bit

mlx-community · 工具包

Cloudflare 的 clef-flash 的 4 位 MLX 版本，在 Apple Silicon Mac 上把一个状态和带类型的问题变成每个允许答案的概率。不是聊天模型。用自带的加载器在本地运行。

Mistral-7B-Instruct-v0.1

mistralai · 工具包

Mistral 推出的 7B 指令微调聊天模型，基于 Mistral-7B-v0.1，用公开的对话数据集微调。适合想要一个能遵循提示词的小型开放模型的开发者。

Phi-4

microsoft · 工具包

Microsoft Research 推出的 14B 开放语言模型，针对计算资源有限时的英语推理和对话做了调整。适合给应用添加文本功能，或研究中等规模模型的开发者。

Qwen3.8-27B-oQ8e-mtp

Jundot · 工具包

把 Qwen3.8-27B 做成 8 位混合精度的 MLX 检查点，带视觉编码器和 MTP 头，用于苹果硬件上的图文聊天。适合想在本地得到接近完整质量的人。

MLX-Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-6bit

Jackrong · 工具包

以 MLX 格式、6 位运行一个只有 0.8B 的推理调优聊天小模型，转换自 Jackrong 的 Qwen3.5 蒸馏模型。适合想在 Mac 上用一个很小本地模型的人。

ibnsina-1.5b

ibnsina-llm · 工具包

一个小型波斯语语言模型，可离线写作、摘要、翻译和聊天，主要用波斯语文本从零训练。可通过 ollama、LM Studio 或 llama.cpp 在笔记本上运行。

zephyr-7b-beta

HuggingFaceH4 · 工具包

作为乐于助人的助手进行对话，由 Mistral-7B 经直接偏好优化调教而成。适合想自己运行小型开源聊天模型的开发者和爱好者。

PLLuM-12B-chat-2512

CYFRAGOVPL · 工具包

PLLuM 系列的波兰语聊天模型，按人类偏好调优，适合对话、问答和摘要，并关注波兰公共服务场景。

granite-4.2-3b-GGUF

bartowski · 工具包

IBM 的 granite-4.2-3b 文本模型的量化 GGUF 副本，从完整精度到较小的 3 位文件，尺寸齐全。适合想在自己电脑上运行小型聊天模型的人。

AMALIA-9B-0626-DPO

amalia-llm · 工具包

用欧洲葡萄牙语写作和回答，是葡萄牙高校推出的开源 9B 聊天模型，经监督微调和 DPO 调优。适合需要欧洲葡萄牙语语言模型的开发者和研究者。

Qwen2.5-0.5B-Instruct

Qwen · 工具包

作为最小的指令微调 Qwen2.5 模型回答对话提示，约 0.5B 参数。适合想要轻量本地模型来做对话、结构化输出和测试的开发者。

一个 n8n 工作流：在 WhatsApp 商业号码上回复新的潜客，用 OpenAI 模型给他们评分，并给出可预约的时段。投诉会转给 Slack 里的团队，安静下来的聊天每小时会收到一次跟进。

GigaChat3.5-432B-A28B

ai-sage · 工具包

用于俄语和英语的对话、代码、推理和工具调用文本生成。这是一个 432B 的混合专家模型，激活参数 28B，适合能自行部署大模型的团队。

GigaChat3.1-10B-A1.8B-GGUF

ai-sage · 工具包

用俄语和英语聊天、写代码、调用函数，是 GGUF 文件形式的紧凑混合专家模型。适合在自己硬件上运行助手的人。

granite-4.1-8b-GGUF

unsloth · 工具包

用 IBM 的 Granite 4.1 8B 模型遵循指令、调用工具和聊天，提供 Unsloth 制作的 GGUF 文件，包含聊天模板修复。适合商业助手和会用工具的智能体。

qwen-2.5-0.5b-block-transformer-hiba-wikitext2

tahamajs · 工具包

把 Qwen2.5-0.5B 的 24 层注意力中的 18 层换成分层块注意力算子，再在 WikiText-2 上蒸馏。这是用于研究注意力改造的研究检查点，不是成品聊天模型。

qwen-2.5-0.5b-bam-umoe-wikitext2

tahamajs · 工具包

把 Qwen2.5-0.5B 的 24 层注意力中的 18 层换成混合专家注意力块，再在 WikiText-2 上蒸馏。这是用于研究注意力改造的研究检查点，不是成品聊天模型。

Qwen3Guard-Stream-0.6B

Qwen · 工具包

这个模型在语言模型还在写字的时候逐个 token 检查文本的安全性，把每一部分判为安全、有争议或不安全，覆盖 119 种语言和方言。适合要给聊天或生成应用加上实时内容审核的开发者。

Qwen3Guard-Gen-0.6B

Qwen · 工具包

一个小型安全审核模型，把提示或模型回复标为安全、有争议或不安全，并指出风险类别，支持 119 种语言。适合筛查聊天输入和输出的开发者。

Qwen3-1.7B-GGUF

Qwen · 工具包

提供 Qwen3 1.7B 小型对话模型的 q8_0 GGUF 文件，供 llama.cpp 使用，可在思考与非思考回复之间切换。适合想要轻量本地助手的人。

Qwen3-1.7B

Qwen · 工具包

一个紧凑的 1.7B 聊天模型，可在用于推理的思考模式和用于对话的快速模式之间切换。适合想用小型开放模型做聊天、翻译和智能体功能的开发者。

Qwen2.5-7B-Instruct

Qwen · 工具包

这是一个 7.6B 参数的指令微调模型，能聊天、写代码、做数学题并输出结构化 JSON，上下文最长 131,072 个 token。适合需要在单台电脑上运行小型开源模型的开发者。

Qwen2 0.5B Instruct

Qwen · 工具包

Qwen 出品的小型 494M 参数聊天模型，能遵循指令，BF16 权重约 988 MB，通过 Transformers 运行。适合需要轻量模型做测试或简单任务的开发者。