开发者 AI 技能与智能体

Qwen3.8-27B-exl3

turboderp · 工具包

Qwen3.8-27B 的 EXL3 量化版本，提供从 1.40 到 6.00 的多种每权重比特数。适合在显存有限的 GPU 上用 ExLlamaV3 本地运行 27B 模型的人。

Bonsai-27B-gguf

prism-ml · 工具包

把 27B 级推理模型做成约 3.9 GB 的 1-bit GGUF 文件，在 llama.cpp 上运行，笔记本或一张显卡就能放下。适合想在日常硬件上做本地推理的人。

DeepSeek-V4.1-Flash-1017 EXL3 EAQ v1 2.9 bpw

Mia-AiLab · 工具包

DeepSeek-V4.1-Flash-1017 的 2.9 bits-per-weight EXL3 量化版本，能读取文本和图片。它把模型压缩到约 210 GB，供 exllamav3 运行时使用，模型卡还测量了它与原模型的贴近程度。

Qwen3.8-27B-GGUF

lmstudio-community · 工具包

Qwen 的 Qwen3.8-27B 的 GGUF 量化版本，由 LM Studio 团队用 llama.cpp 制作，适合在自己电脑上运行 27B 模型的人。

Raon-1 mini (GGUF)

KRAFTON · 工具包

在 llama.cpp 中运行一个 28.8B 的混合专家模型，针对韩语对话、推理和调用工具的智能体做过优化。这是 Raon-1 mini preview 的 GGUF 版本，适合在自己电脑上运行模型的人。

Qwen3.8-2B-Distill-GGUF

empero-ai · 工具包

在手机、笔记本和单板计算机上运行小型 2B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp。

Nanbeige_Nanbeige4.3-33B-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Nanbeige4.3-33B 制作的 GGUF 量化版本，大小约从 21 GB 到 66 GB。适合在本地用 llama.cpp 运行 33B 的中英文文本模型。

TinyLlama-1.1B-Chat-v1.0

TinyLlama · 工具包

以小型 1.1B 语言模型的身份用纯文本聊天，运行时占用内存很少。适合想要基于 Llama 风格基础模型的紧凑聊天模型的开发者和研究人员。

Llama-V-JEPA-LM-Qwen3-4B

kkt94 · 工具包

用一个 5.1B 的模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Qwen3-4B-Instruct-2507 上，适合有 16 GB 以上 GPU 的人。

Llama-V-JEPA-LM-Qwen3-1.7B

kkt94 · 工具包

用一个 2B 的模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Qwen3-1.7B 上，适合只有一块普通 GPU 的人。

Llama-V-JEPA-LM-Llama3.2-3B

kkt94 · 工具包

用一个 4.2B 的模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Llama-3.2-3B-Instruct 上，适合只有一块 12 GB 以上 GPU 的人。

Llama-V-JEPA-LM-Llama3.2-1B

kkt94 · 工具包

用一个 1.5B 的小模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Llama-3.2-1B-Instruct 上，适合只有一块普通 GPU 的人。

Qwen3.5-0.8B Astra Weight Edit

JonathanColetti · 工具包

直接编辑两个权重张量，不经训练，修复 Qwen3.5-0.8B 在思考模式下陷入的重复循环。这是一个小型图文模型，可用于 Transformers、vLLM、llama.cpp 和浏览器。

Qwen3.8-27B-GGUF

ggml-org · 工具包

以 GGUF 文件形式运行 Qwen3.8-27B，这是一个 26.9B 的模型，能读图片和文字并用文字回复，通过 llama 工具在本机使用，适合想把它放在自己电脑上的你。

Qwen3.8-4B-Distill-GGUF

empero-ai · 工具包

在笔记本或中端显卡上运行 4B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp 等应用。

gemma-4-12B-it-qat-GGUF

unsloth · 工具包

Gemma 4 12B 的 GGUF 版本，经过量化感知训练，4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人，附带加快输出的草稿文件。

Llama-V-JEPA-LM-Llama3.1-8B

kkt94 · 工具包

把冻结的 V-JEPA 2.1 视频编码器接到 Llama-3.1-8B-Instruct 上，用来回答关于视频片段的问题，适合做视频理解的人。

Qwen3-8B-GGUF

Qwen · 工具包

在 llama.cpp 或 Ollama 中运行量化后的 Qwen3-8B GGUF 文件，有用于数学、代码和逻辑的思考模式，也有用于聊天的普通模式。适合想要本地模型并能选择文件大小的人。

Llama-V-JEPA-LM-Qwen3-8B

kkt94 · 工具包

用一个 9.2B 的模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Qwen3-8B 上，适合有 24 GB 以上 GPU 的人。

Qwen3.8-9B-Distill-GGUF

empero-ai · 工具包

Empero 的 Qwen3.8-9B 的 GGUF 量化版本，一个由更大的 Qwen3.8 蒸馏到 Qwen3.5-9B 架构里的推理模型，适用于 llama.cpp、Ollama、LM Studio 等工具。

ZONOS3-Mini GGUF

AtomicChat · 工具包

把 ZONOS3-Mini 文本转语音模型打包成适用于 llama.cpp 的 GGUF 文件，内置 27 种声音，有从 0.41 到 1.61 GB 的六种主干大小。适合在本地运行语音的开发者。

Qwen3.8-35B-A3B-Distill-GGUF

empero-ai · 工具包

用十种尺寸的 GGUF 文件运行一个 35B 混合专家模型，每个 token 约 3B 参数在工作，另附视觉投影文件。适合 llama.cpp、Ollama、LM Studio、Jan 和 KoboldCpp 用户。

Qwen3.6-35B-A3B-MTP-GGUF

unsloth · 工具包

通过 Unsloth 的 GGUF 文件在本地运行 Qwen3.6-35B-A3B，带多词元预测，让 llama.cpp 解码更快。适合想要本地智能体编程模型的开发者。

Qwen2.5-Coder-7B-Instruct-GGUF

Qwen · 工具包

在你自己的电脑上运行 Qwen 的 7B 指令微调编程模型，打包成 GGUF 文件，有八种量化等级。适合想通过 llama.cpp 获得代码帮助的开发者。

Thinklite-27B-GGUF

Sparset · 工具包

Thinklite-27B 的 4 位 GGUF 版本，适用于 llama.cpp，每次回答比基础模型用更少的推理，适合在本地运行 27B 文本模型的人。

S5-nano-GGUF

maritaca-ai · 工具包

用 2.8 到 8.7 GB 的 GGUF 文件，在 llama.cpp 和兼容应用里运行 Maritaca AI 的 S5-nano，这是一个针对巴西葡萄牙语调优、带函数调用和思考模式的 4B 模型。

MNN-Pocket-0.3B-GGUF

taobao-mnn · 工具包

用 192 到 726 MB 的 GGUF 文件运行一个紧凑的 0.3B 中英文语言模型，专为手机、笔记本等设备端使用而做，可配合 llama.cpp、LM Studio 或 ollama。

BotPsy-0.8B-GGUFs

qvac · 工具包

0.8B 工具调用模型 BotPsy 的 GGUF 版本，提供 BF16、Q8_0 和 Q4_K_M 三种文件，用 llama.cpp 在你自己的设备上完整运行智能体和函数调用任务。

Raon-1 nano (GGUF)

KRAFTON · 工具包

把 Raon-1 nano 语言模型打包成适用于 llama.cpp 的 GGUF 文件，让开发者在自己的电脑上运行韩英双语聊天模型。列出了四种量化类型。

Ripple-65B-Preview-GGUF

AtomicChat · 工具包

65B 智能体编程模型 Ripple Preview 的 GGUF 量化文件，用 llama.cpp 在本地运行，适合在自己硬件上运行大型开源模型的人。

Qwen3.8-27B GGUF (ShapeLearn Quantized)

byteshape · 工具包

用 ByteShape 的 ShapeLearn 量化出的 Qwen3.8-27B GGUF 文件，提供五种适合不同显卡的版本，在 llama.cpp 里支持图片输入和 MTP 推测解码。适合在自己的显卡上运行它的人。

Qwen3.8-27B-DSpine-b16-GGUF

aj9o9 · 工具包

一个 GGUF 草稿模型，通过推测解码在 llama.cpp 里加速 Qwen3.8-27B，在一块 RTX 3090 上处理代码和数学时约每秒 125 个 token，适合在本地运行 Qwen3.8-27B 的人。

Qwen3.8-27B-GSQ-RCO-GGUF

ISTA-DASLab · 工具包

ISTA-DASLab 制作的 Qwen3.8-27B GGUF 版本，共四种大小，每个张量用各自的精度量化，并带有处理图片的视觉投影文件。适合在 llama.cpp、Ollama 或 LM Studio 里本地运行模型的人。

一个 n8n 聊天：每条消息都发给你自己 Ollama 服务器上的 Llama 3.2。模型把回答写成一个 JSON 对象，聊天里显示你的提问、模型的回答和它出自的 JSON。

一块 n8n 画布，四种接入 DeepSeek 的方式：Ollama 上的本地 R1 模型回答聊天，两个直接调用 API 的请求（开思考和关思考），还有一个带记忆的智能体。

一个有两个节点的 n8n 工作流，让通过 Ollama 在你自己电脑上运行的模型写一段简短的欢迎语。它是测试 n8n 能否连上 Ollama 的最小办法。

一个手动启动的 n8n 工作流：它从 GitHub 仓库读一份 Markdown 提示词，把里面的双花括号占位符换成你设好的值。随后 Ollama 上的一个 AI 智能体运行填好的提示词。

一个带聊天窗口的 n8n 工作流。每条消息经由 Basic LLM Chain 发给你自己机器上 Ollama 提供的模型，回答回到同一个窗口。

MiniCPM-V 端侧多模态模型

OpenBMB · 工具包

OpenBMB 的开源多模态模型。MiniCPM-V 4.7 能读图片、文档和视频，MiniCPM-o 4.5 还能听、能说。安装说明涵盖 Transformers、Ollama、llama.cpp、vLLM、SGLang、托管 API 和手机应用。

bitnet.cpp 1 比特推理框架

microsoft · 工具包

微软官方的 1 比特大模型推理框架，基于 llama.cpp。它能在 x86 和 ARM CPU 上运行 BitNet b1.58 这类三值模型，也有 GPU 内核。这份说明涵盖 Windows、Linux、GPU 内核和嵌入模型的安装步骤。

Ollama 本地与云端运行开源模型

ollama · 工具包

Ollama 的 MIT 许可应用和命令行，能在你自己的电脑上运行开源模型，登录后也能用 Ollama 的云端。安装说明涵盖 macOS、Windows、Linux 和 Docker，以及在它的模型上启动 Claude Code、Codex、Copilot CLI 和 OpenCode。

Awesome LLM Apps 智能体示例

Shubhamsaboo · 工具包

Shubham Saboo 的开源合集，收录 AI 智能体、智能体技能和 RAG 应用，大部分各在自己的文件夹里，带一份 README。安装说明涵盖 Claude Code、Codex 和 Cursor 的技能、Python 应用、本地 Ollama 应用、一个 MCP 智能体和一套 Google ADK 课程。