开发者 AI 技能与智能体

Swift 1.5 Ornith 9B GGUF

ukisai · 工具包

以 llama.cpp 用的 GGUF 量化版本运行 Swift 1.5 Ornith 9B，这是一个调校成用更少 token 思考的推理模型。适合在自己机器上运行 9B 推理模型的人。

MN-Violet-Lotus-12B-GGUF

mradermacher · 工具包

FallenMerick 的 MN-Violet-Lotus-12B 的静态 GGUF 文件，大小从 4.9 GB 到 13.1 GB。适合想在自己电脑上运行 12B 模型的人。

Ornith-1.5-9B-GGUF

AtomicChat · 工具包

Ornith 1.5 9B 的 GGUF 版本，这是一个能读图像和文字的模型，文件大小从 2.81 GB 到 17.9 GB，另有视觉投影文件。选一个适合你显存的文件，在本地运行。

Groot-19B-A3B-TTQ-GGUF

TokenTinkerer · 工具包

为 llama.cpp 提供 Groot-19B-A3B 推理模型的十一种 GGUF 大小，从 7.88 到 18.59 GiB，另有一个视觉投影文件。适合在自己电脑上运行该模型的人。

Qwen3.5-4B-3D-Coder-GGUF

prithivMLmods · 工具包

用早期预览版 Qwen3.5-4B 微调模型的 GGUF 副本写代码，并生成自包含的 Three.js 交互 3D 场景页面。适合在本地做 3D 场景原型的开发者。

Qwen3.8-27B-DFlash2-GGUF

z-lab · 工具包

GGUF 格式的草稿模型，通过提出词元块让主模型验证来加速 Qwen3.8-27B。适合在本地用 llama.cpp 运行该模型的人。

SmolLM3-3B-GGUF

unsloth · 工具包

用 SmolLM3 聊天和推理，这是个完全开放的 3B 模型，可以一步步思考，也可以直接回答，提供 Unsloth 制作的 GGUF 文件，带聊天模板修复。能处理长文本和六种语言。

Qwen3.6-27B-GGUF

unsloth · 工具包

在本地处理智能体编码和图文任务，是 Unsloth 提供的 Qwen3.6-27B 的 GGUF 文件，支持思考保留和长上下文。适合运行本地编码智能体的开发者。

Qwen3.5-4B-MTP-GGUF

unsloth · 工具包

Unsloth 制作的带多 token 预测的 Qwen3.5-4B 的 GGUF 文件，让 llama.cpp 使用推测解码，生成速度约快 1.5 到 2 倍。适合在本地运行小型多模态模型的人。

Qwen3-30B-A3B-GGUF

unsloth · 工具包

unsloth 量化的 Qwen3-30B-A3B GGUF 文件，用于在 llama.cpp、Ollama 或 Open WebUI 里运行本地聊天和推理模型，思考模式可以逐轮开关。

Qwen3-14B-GGUF

unsloth · 工具包

把 Qwen3 14B 做成 GGUF 文件，可在你自己的电脑上运行。这个文本生成模型既能深入思考难题，也能快速作答。由 unsloth 打包，适合在本地运行模型的人。

Qwen2.5-Coder-7B-Instruct-GGUF

unsloth · 工具包

在你自己的电脑上编写、解释和修复代码，是 Unsloth 提供的 Qwen2.5-Coder 7B 指令模型的 GGUF 副本。适合想要本地编码助手的开发者。

Olmo-3-32B-Think-GGUF

unsloth · 工具包

把 32.2B 参数的推理模型 Olmo 3 32B Think 做成 GGUF 文件，可以在你自己的电脑上运行。由 unsloth 打包，适合想本地使用 Apache 2.0 模型的人。

Llama-3.2-3B-Instruct-GGUF

unsloth · 工具包

用 Meta 的紧凑模型 Llama 3.2 3B 指令版聊天、总结和回答问题，提供 Unsloth 制作的 GGUF 文件，从 2 位到 16 位。小到普通笔记本也能用。

gpt-oss-120b-GGUF

unsloth · 工具包

用 Unsloth 制作的 GGUF 文件运行 OpenAI 的开放权重模型 gpt-oss-120b，它有 117B 参数，其中 5.1B 处于激活状态，文件带有 Unsloth 的修复。面向推理、智能体任务和开发者使用。

gemma-3-27b-it-GGUF

unsloth · 工具包

用 Google 的 Gemma 3 27B 指令微调模型回答关于文本和图像的问题，提供 Unsloth 制作的 GGUF 文件，可在你自己的电脑上运行。支持 128K 词元上下文。

gemma-3-270m-it-GGUF

unsloth · 工具包

作为 268M 的指令微调 Gemma 3 模型，以 GGUF 格式根据提示词生成文本，小到可以在笔记本和台式机上运行。适合想要一个微型本地模型来运行或微调的开发者。

gemma-3-12b-it-GGUF

unsloth · 工具包

用 Google Gemma 3 12B 指令模型的 GGUF 文件回答问题、总结文本并读图，适合想在自己电脑上运行它的人。

ERNIE-4.5-21B-A3B-Thinking-GGUF

unsloth · 工具包

用每个词元只激活 3B 参数的 21B 混合专家模型处理逻辑、数学、科学和编程问题，提供 Unsloth 制作的 GGUF 文件。支持工具调用和 128K 上下文。

bge-small-en-v1.5-GGUF

unsloth · 工具包

把英文文本变成嵌入向量，用于搜索和检索，是一个 33.2M 参数的小型 GGUF 文件。适合在普通硬件上构建搜索或检索应用的开发者。