AI 智能体技能、规则与提示词工具包

Raon-1 nano (MLX)

KRAFTON · 工具包

提供适用于 Apple silicon 的 4-bit MLX 版 Raon-1 nano 权重，让开发者在 Mac 上本地运行韩英双语聊天模型。适合应用开发者和本地模型用户。

Ornith-1.5-35B-A3B-GGUF

ornith-ai · 工具包

运行一个面向编程和智能体任务的 35B 混合专家文本模型，每个词元只用约 3B 参数。这个仓库提供它的 GGUF 文件，供本地使用。

gemma-4-12B

google · 工具包

Google 的 Gemma 4 12B Unified 模型，是能读文字、图片、音频和视频并输出文字的开放模型，上下文 256K，不需要单独的编码器。适合运行本地 AI 的开发者。

Qwen3.6-35B-A3B-GGUF

unsloth · 工具包

用 Unsloth 的 GGUF 文件运行 Qwen3.6-35B-A3B，这是能读图和文字的混合专家模型，每个词元只用约 3B 参数。适合在本地运行大模型的开发者。

gpt-oss-20b

openai · 工具包

根据文字提示词写作、推理并调用工具，是 OpenAI 的 21B 开放权重模型，可在 16 GB 内存内运行。适合想要本地或专用模型的开发者。

MOSS-Image-SFT-8-steps-dmd

lodestones · 工具包

把 MOSS-Image-SFT 的出图步数减到 8 步且不用 CFG，以 ComfyUI 的 LoRA 文件提供。这是一个仍在进行中的蒸馏，适合在本地生成图像的人。

Cactus runtime

Cactus-Compute · 工具包

提供预编译的运行时二进制文件，在手机、笔记本、服务器和浏览器上本地运行文字、语音和视觉模型。适合在应用里发布设备端 AI 的开发者。

Qwen3.8-27B Turbo Brilliance NEO MAX MTP GGUF

DavidAU · 工具包

以 GGUF 形式运行 Qwen3.8-27B，带有一组可在提示词里切换的推理和指令模式。适合运行本地模型、喜欢调整模型工作方式的人。

Inflect Mini v3

owensong · 工具包

在你自己的电脑上把英文文字转成语音，有六个预设声音，可在 CPU 或 CUDA 上运行。适合想要小型本地文字转语音模型的开发者和创作者。

Muse Glimmer 30B

meta-models · 工具包

读取文字和图片，在本地机器上完成工具调用、多步推理等智能体任务，是从 Muse Spark 蒸馏出的 30B 模型。适合构建本地智能体的开发者。

Ripple-65B-Preview-GGUF

AtomicChat · 工具包

65B 智能体编程模型 Ripple Preview 的 GGUF 量化文件，用 llama.cpp 在本地运行，适合在自己硬件上运行大型开源模型的人。

Mach Boom

SyzygyResearch · 工具包

用 Gradium 的 Phonon 31m 模型的 3.5 位版本，在单个 CPU 核心上把英文文字变成语音，速度比实时快好几倍，适合需要小巧本地语音输出的开发者。

DeepSeek-V4.1-Flash-1017-GGUF

unsloth · 工具包

Unsloth 制作的 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本，这是一个巨大的图文模型，可在 128 GB 或更多内存的机器上本地运行，适合自己运行大型开放模型的人。

Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF

ISTA-DASLab · 工具包

Qwen3.8-Flash-Next 的偏编程 GGUF 版本，去掉了一半专家，把 BF16 的 354 GB 缩到 58.4 GB，同时保留图片输入，适合有大机器、想在本地用编程模型的人。

Qwen3.8-27B-DSpine-b16-GGUF

aj9o9 · 工具包

一个 GGUF 草稿模型，通过推测解码在 llama.cpp 里加速 Qwen3.8-27B，在一块 RTX 3090 上处理代码和数学时约每秒 125 个 token，适合在本地运行 Qwen3.8-27B 的人。

Qwen3.8-Flash-Next-GSQ-RCO-GGUF

ISTA-DASLab · 工具包

Qwen3.8-Flash-Next 的 GGUF 版本，有四种大小，每个张量用各自的精度量化，并带有支持图片输入的视觉投影文件，适合在本地运行大型混合专家模型的人。

Qwen3.8-27B-GSQ-RCO-GGUF

ISTA-DASLab · 工具包

ISTA-DASLab 制作的 Qwen3.8-27B GGUF 版本，共四种大小，每个张量用各自的精度量化，并带有处理图片的视觉投影文件。适合在 llama.cpp、Ollama 或 LM Studio 里本地运行模型的人。

qwen-concept-27b

ConceptCountry · 工具包

对 Qwen3.8-27B 的九个权重矩阵做了权重空间编程式的编辑，无需训练，所以它用更少的 token 思考。这是面向研究人员和本地模型用户的实验性版本。

Meditor WebGPU Chat

Yo-Purple · 工具包

一个聊天页面，通过 WebGPU 在你的浏览器里用你自己的 GPU 运行 Meditor 语言模型，带本地缓存和实时速度显示。适合想要不用云 GPU 的私密聊天的人。

Pluto 124M Chat

xxparthparekhxx · 工具包

一个完全在浏览器里运行的小型聊天模型，通过 onnxruntime-web，用 WebGPU 或 WebAssembly，没有服务器参与推理。适合想要私密、本地聊天演示的人。