浏览 AI 技能、智能体和自动化

Sage-A1.5 GGUF (Q4_K_M)

InternScience · 工具包

以 4-bit GGUF 文件运行 Sage-A1.5，这是面向长篇科学任务的 35B 混合专家智能体模型。它能把工作分给子智能体并检查自己的进展，适用于 llama.cpp、Ollama 和 LM Studio。

gemma-4-12B-it-qat-q4_0-gguf

google · 工具包

以 4-bit GGUF 文件运行 Google 的 Gemma 4 12B 指令微调模型，使用量化感知训练制作。能读取文本和图片，适合笔记本和消费级显卡。

Qwen3.8-2B-Distill-GGUF

empero-ai · 工具包

在手机、笔记本和单板计算机上运行小型 2B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp。

Nanbeige_Nanbeige4.3-33B-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Nanbeige4.3-33B 制作的 GGUF 量化版本，大小约从 21 GB 到 66 GB。适合在本地用 llama.cpp 运行 33B 的中英文文本模型。

Qwen2.5-VL-7B-Instruct-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen2.5-VL-7B-Instruct 的 GGUF 文件，这个视觉语言模型能读图像、图表、文档和长视频，还能输出坐标和结构化数据。适合在本地运行它的人。

gemma-4-E4B-it-GGUF

unsloth · 工具包

Google Gemma 4 E4B 指令模型的 4-bit GGUF 版本，由 Unsloth 打包，可在你自己的机器上运行。它能读取文字和图像，并用文字回答。

gemma-4-12b-it-GGUF

unsloth · 工具包

Unsloth 制作的 Google 指令微调 Gemma 4 12B 的 GGUF 量化版本，一个能读文字、图片、音频和视频并输出文字的模型，适合本地运行。

embeddinggemma-2-GGUF

unsloth · 工具包

把文字变成 768 维向量，用于设备端的搜索、检索和聚类。基础模型还支持图像、视频和音频。由 Unsloth 打包成 GGUF。

Qwen3.8-27B-GGUF

ggml-org · 工具包

以 GGUF 文件形式运行 Qwen3.8-27B，这是一个 26.9B 的模型，能读图片和文字并用文字回复，通过 llama 工具在本机使用，适合想把它放在自己电脑上的你。

Qwen3.8-4B-Distill-GGUF

empero-ai · 工具包

在笔记本或中端显卡上运行 4B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp 等应用。

Spark-X2.6-1.7B-GGUF

XHToken · 工具包

以 4-bit GGUF 文件运行 XHToken 的 1.7B 小型端侧语言模型，可做中英文的聊天、编码和智能体任务，思考强度可调。适合在本地运行模型的人。

gemma-4-12B-it-qat-GGUF

unsloth · 工具包

Gemma 4 12B 的 GGUF 版本，经过量化感知训练，4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人，附带加快输出的草稿文件。

Bielik-11B-v3.1-Instruct GGUF

speakleash · 工具包

能用波兰语、英语和另外六种语言回答的聊天模型，打包成五种大小的 GGUF 文件，供 llama.cpp 或 Ollama 使用。适合想在自己电脑上用指令模型的人。

Qwen3.5-4B-3D-Coder-MTP-Repacked

prithivMLmods · 工具包

ccore 的 Qwen3.5-4B-3D-Coder 的重新打包版本，一个为编程回答和 Three.js 3D 场景调优的小模型，附带支持多词元预测的 GGUF 文件。

GLM-5.3-Flash-Coder-RCO-152E-GGUF

lapadatbogdan · 工具包

在家用电脑上运行裁剪过的 GLM-5.3-Flash 编程和智能体模型，提供五种量化大小的 GGUF 文件。每层保留 288 个专家中的 152 个，把 321B 模型缩小到约 170B。

gemma-4-31B-it-GGUF

unsloth · 工具包

通过 Unsloth 的 GGUF 文件在本地运行 Google 的 Gemma 4 31B 指令微调模型，支持文本和图像输入，上下文很长。适合想要强大本地推理和编程模型的开发者。

Idol-GGUF

TimeLordRaps · 工具包

SperiD Labs 的 Idol 的 8-bit GGUF 版本，把一张图像变成 3D 高斯点云和网格，用 idol.cpp 在本地运行。适合做图像转 3D 的开发者。

Qwen3-8B-GGUF

Qwen · 工具包

在 llama.cpp 或 Ollama 中运行量化后的 Qwen3-8B GGUF 文件，有用于数学、代码和逻辑的思考模式，也有用于聊天的普通模式。适合想要本地模型并能选择文件大小的人。

GLM-5.3-Flash Maya GGUF

peasantsmith · 工具包

GLM-5.3-Flash 的五个 GGUF 压缩版本，GLM-5.3-Flash 是 321B 的混合专家模型，大小从 73.4 GB 到 156.3 GB，为 Project Maya 制作，它把模型分摊到 GPU、内存和固态硬盘上。

Qwen3.8-9B-Distill-GGUF

empero-ai · 工具包

Empero 的 Qwen3.8-9B 的 GGUF 量化版本，一个由更大的 Qwen3.8 蒸馏到 Qwen3.5-9B 架构里的推理模型，适用于 llama.cpp、Ollama、LM Studio 等工具。

ZONOS3-Mini GGUF

AtomicChat · 工具包

把 ZONOS3-Mini 文本转语音模型打包成适用于 llama.cpp 的 GGUF 文件，内置 27 种声音，有从 0.41 到 1.61 GB 的六种主干大小。适合在本地运行语音的开发者。

Gemma4-12B v2 Coding + Agentic Edition

yuxinlu1 · 工具包

Google Gemma 4 12B 指令模型的 GGUF 微调版本，面向编程和使用工具的智能体工作，只需约 4.5 GB 空闲内存就能离线运行。

Qwen3.8-35B-A3B-Distill-GGUF

empero-ai · 工具包

用十种尺寸的 GGUF 文件运行一个 35B 混合专家模型，每个 token 约 3B 参数在工作，另附视觉投影文件。适合 llama.cpp、Ollama、LM Studio、Jan 和 KoboldCpp 用户。

Qwen3.5-4B-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen3.5-4B GGUF 量化版本，一个能读图片和文字并用文字回答的小模型，适合在本地运行模型的人。

GLM-5.3-Flash-GGUF

unsloth · 工具包

在你自己的硬件上运行 Unsloth 的 GLM-5.3-Flash 文本模型 GGUF 版本，作者把这个大型开源模型定位于编码和智能体工作。适合内存充足的人。

Qwen3.6-35B-A3B-MTP-GGUF

unsloth · 工具包

通过 Unsloth 的 GGUF 文件在本地运行 Qwen3.6-35B-A3B，带多词元预测，让 llama.cpp 解码更快。适合想要本地智能体编程模型的开发者。

flint-GGUF

unsloth · 工具包

用 Unsloth 的 GGUF 文件运行 Flint，这是面向编程智能体的 39.8B 混合专家模型，每个词元只用约 2.5B 参数。适合在本地运行编程智能体的开发者。

Qwopus3.8-27B-Coder-Flash-GGUF

Jackrong · 工具包

作为 Qwen3.8-27B 的 GGUF 微调版，帮你写代码并胜任会调用工具的智能体任务，用约 20 万条代码、智能体和推理样例训练。适合在自己电脑上运行模型的开发者。

Alpie Seed 9B GGUF

169Pi · 工具包

通过三种位深的 GGUF 文件，在你自己的机器上运行 169Pi AI 的图文模型 Alpie Seed 9B。适合想在本地做视觉语言对话的开发者。

Qwen3.5-9B-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen3.5-9B GGUF 量化版本，一个能读图片和文字并用文字回答的中等规模模型，适合在本地运行模型的人。

Qwen2.5-Coder-7B-Instruct-GGUF

Qwen · 工具包

在你自己的电脑上运行 Qwen 的 7B 指令微调编程模型，打包成 GGUF 文件，有八种量化等级。适合想通过 llama.cpp 获得代码帮助的开发者。

CCORE GLB-3D-Coder 1.7B

ccore · 工具包

为你描述的游戏资产写出完整的 Three.js 页面，带 3D 预览和导出 GLB 按钮。这是微调过的 Qwen3-1.7B，GGUF 格式，能在普通硬件上运行，适合游戏开发者。

Thinklite-27B-GGUF

Sparset · 工具包

Thinklite-27B 的 4 位 GGUF 版本，适用于 llama.cpp，每次回答比基础模型用更少的推理，适合在本地运行 27B 文本模型的人。

S5-nano-GGUF

maritaca-ai · 工具包

用 2.8 到 8.7 GB 的 GGUF 文件，在 llama.cpp 和兼容应用里运行 Maritaca AI 的 S5-nano，这是一个针对巴西葡萄牙语调优、带函数调用和思考模式的 4B 模型。

Qwen3.8-27B-QSA-GGUF

higa2515 · 工具包

用 GGUF 文件运行带稀疏注意力的 Qwen3.8-27B，提供 Q8_0 和 Unsloth 的 Q4、Q5、Q6 混合版本，支持文字、图片和视频输入。适合使用 NVIDIA 显卡的 Linux 用户。

Arete-27B-GGUF

AtomicChat · 工具包

用六种尺寸的 GGUF 文件运行 Nous Research 的 Arete 27B，这是 Qwen3.8-27B 的微调版，能读文字和图像，并附有实测的质量损失。适合在自己 GPU 上运行大模型的人。

Spark-X2.6-4B-GGUF

XHToken · 工具包

面向设备端使用的紧凑 4B 语言模型的 GGUF 版本，针对编程、智能体和长上下文调校，有从无到高的三档思考级别。支持英文和中文。

MNN-Pocket-0.3B-GGUF

taobao-mnn · 工具包

用 192 到 726 MB 的 GGUF 文件运行一个紧凑的 0.3B 中英文语言模型，专为手机、笔记本等设备端使用而做，可配合 llama.cpp、LM Studio 或 ollama。

Ornith-1.5-35B-A3B-GGUF

ornith-ai · 工具包

运行一个面向编程和智能体任务的 35B 混合专家文本模型，每个词元只用约 3B 参数。这个仓库提供它的 GGUF 文件，供本地使用。

Qwen3.6-35B-A3B-GGUF

unsloth · 工具包

用 Unsloth 的 GGUF 文件运行 Qwen3.6-35B-A3B，这是能读图和文字的混合专家模型，每个词元只用约 3B 参数。适合在本地运行大模型的开发者。

BotPsy-0.8B-GGUFs

qvac · 工具包

0.8B 工具调用模型 BotPsy 的 GGUF 版本，提供 BF16、Q8_0 和 Q4_K_M 三种文件，用 llama.cpp 在你自己的设备上完整运行智能体和函数调用任务。

Sharp-Spark-X2.6-4B-GGUF

peculiar-ragdoll · 工具包

在 6 GB 显存的显卡上运行支持长上下文的 4B 编程模型。这些 Spark-X2.6-4B 的 GGUF 量化版有三种大小，使用偏向编程的重要性矩阵。

Qwen3.8-27B Turbo Brilliance NEO MAX MTP GGUF

DavidAU · 工具包

以 GGUF 形式运行 Qwen3.8-27B，带有一组可在提示词里切换的推理和指令模式。适合运行本地模型、喜欢调整模型工作方式的人。

Raon-1 nano (GGUF)

KRAFTON · 工具包

把 Raon-1 nano 语言模型打包成适用于 llama.cpp 的 GGUF 文件，让开发者在自己的电脑上运行韩英双语聊天模型。列出了四种量化类型。

Ripple-65B-Preview-GGUF

AtomicChat · 工具包

65B 智能体编程模型 Ripple Preview 的 GGUF 量化文件，用 llama.cpp 在本地运行，适合在自己硬件上运行大型开源模型的人。

Alpie Seed 9B

169Pi · 工具包

用一个基于 Qwen3.5-9B 的 9B 开放权重模型处理文字、图片和视频，做推理和编程，并提供适合轻量硬件的 GGUF 版本。适合想要能离线运行的模型的开发者。

Qwen3.8-27B GGUF (ShapeLearn Quantized)

byteshape · 工具包

用 ByteShape 的 ShapeLearn 量化出的 Qwen3.8-27B GGUF 文件，提供五种适合不同显卡的版本，在 llama.cpp 里支持图片输入和 MTP 推测解码。适合在自己的显卡上运行它的人。

DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF

ISTA-DASLab · 工具包

DeepSeek-V4.1-Flash-1017 的 GGUF 版本，有三种很小的尺寸，每个张量用各自的精度量化，适合在有限硬件上运行超大混合专家模型的人。

DeepSeek-V4.1-Flash-1017-GGUF

unsloth · 工具包

Unsloth 制作的 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本，这是一个巨大的图文模型，可在 128 GB 或更多内存的机器上本地运行，适合自己运行大型开放模型的人。

Ornith-1.5-9B-GGUF

ornith-ai · 工具包

提供 Ornith-1.5-9B 的 GGUF 文件，这是一个通过自我改进循环训练的 9B 稠密模型，适合单显卡使用。适合想要公开编程成绩的小模型的开发者。

Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF

ISTA-DASLab · 工具包

Qwen3.8-Flash-Next 的偏编程 GGUF 版本，去掉了一半专家，把 BF16 的 354 GB 缩到 58.4 GB，同时保留图片输入，适合有大机器、想在本地用编程模型的人。

dale-0.8b-GGUF

manuelgscom · 工具包

一个小型 4-bit GGUF 模型，把西班牙语或英语的普通请求变成一条 Linux bash 命令，在 dale 工具里离线用 CPU 运行，适合想要帮忙写 shell 命令的人。

Qwen3.8-27B-DSpine-b16-GGUF

aj9o9 · 工具包

一个 GGUF 草稿模型，通过推测解码在 llama.cpp 里加速 Qwen3.8-27B，在一块 RTX 3090 上处理代码和数学时约每秒 125 个 token，适合在本地运行 Qwen3.8-27B 的人。

Qwen3.8-Flash-Next-GSQ-RCO-GGUF

ISTA-DASLab · 工具包

Qwen3.8-Flash-Next 的 GGUF 版本，有四种大小，每个张量用各自的精度量化，并带有支持图片输入的视觉投影文件，适合在本地运行大型混合专家模型的人。

DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF

ISTA-DASLab · 工具包

ISTA-DASLab 制作的 DeepSeek-V4.1-Flash-1017 专家剪枝加量化的 GGUF 版本，面向代码和智能体工作，transformer 权重为 72.1 GB。适合有大内存机器的开发者。

Qwen3.8-27B-GSQ-RCO-GGUF

ISTA-DASLab · 工具包

ISTA-DASLab 制作的 Qwen3.8-27B GGUF 版本，共四种大小，每个张量用各自的精度量化，并带有处理图片的视觉投影文件。适合在 llama.cpp、Ollama 或 LM Studio 里本地运行模型的人。

Qwen2.5-0.5B QLoRA Demo

shambhuraje · 工具包

一个 Gradio 演示，用来试用以 GGUF 形式保存的小型微调 Qwen2.5 0.5B 指令模型。让开发者和学习者无需安装任何东西，就能在浏览器里试这个小模型。

Local Model Explorer

LocalLLaMA · 工具包

展示哪些 GGUF 量化模型适合你的显卡、Mac 或 CPU，适合在自己电脑上运行语言模型、想选一个能跑起来的文件的人。

LurisQA

AdityaMogare · 工具包

在聊天窗口里回答民法问题，使用 GGUF 格式的微调模型 LurisQA。这是一个 Gradio 应用，适合法学生、法律从业者和开发法律问答工具的开发者。

GGUF Model VRAM Calculator

DavidAU · 工具包

在浏览器里运行的静态页面，估算一个 GGUF 模型需要多少显存。适合想选一个能装进自己显卡的量化模型的人。