开发者 AI 技能与智能体

Qwen3.8-2B-Distill-GGUF

empero-ai · 工具包

在手机、笔记本和单板计算机上运行小型 2B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp。

Nanbeige_Nanbeige4.3-33B-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Nanbeige4.3-33B 制作的 GGUF 量化版本，大小约从 21 GB 到 66 GB。适合在本地用 llama.cpp 运行 33B 的中英文文本模型。

Qwen2.5-VL-7B-Instruct-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen2.5-VL-7B-Instruct 的 GGUF 文件，这个视觉语言模型能读图像、图表、文档和长视频，还能输出坐标和结构化数据。适合在本地运行它的人。

gemma-4-E4B-it-GGUF

unsloth · 工具包

Google Gemma 4 E4B 指令模型的 4-bit GGUF 版本，由 Unsloth 打包，可在你自己的机器上运行。它能读取文字和图像，并用文字回答。

gemma-4-12b-it-GGUF

unsloth · 工具包

Unsloth 制作的 Google 指令微调 Gemma 4 12B 的 GGUF 量化版本，一个能读文字、图片、音频和视频并输出文字的模型，适合本地运行。

embeddinggemma-2-GGUF

unsloth · 工具包

把文字变成 768 维向量，用于设备端的搜索、检索和聚类。基础模型还支持图像、视频和音频。由 Unsloth 打包成 GGUF。

Qwen3.8-27B-GGUF

ggml-org · 工具包

以 GGUF 文件形式运行 Qwen3.8-27B，这是一个 26.9B 的模型，能读图片和文字并用文字回复，通过 llama 工具在本机使用，适合想把它放在自己电脑上的你。

Qwen3.8-4B-Distill-GGUF

empero-ai · 工具包

在笔记本或中端显卡上运行 4B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp 等应用。

Spark-X2.6-1.7B-GGUF

XHToken · 工具包

以 4-bit GGUF 文件运行 XHToken 的 1.7B 小型端侧语言模型，可做中英文的聊天、编码和智能体任务，思考强度可调。适合在本地运行模型的人。

gemma-4-12B-it-qat-GGUF

unsloth · 工具包

Gemma 4 12B 的 GGUF 版本，经过量化感知训练，4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人，附带加快输出的草稿文件。

Qwen3.5-4B-3D-Coder-MTP-Repacked

prithivMLmods · 工具包

ccore 的 Qwen3.5-4B-3D-Coder 的重新打包版本，一个为编程回答和 Three.js 3D 场景调优的小模型，附带支持多词元预测的 GGUF 文件。

GLM-5.3-Flash-Coder-RCO-152E-GGUF

lapadatbogdan · 工具包

在家用电脑上运行裁剪过的 GLM-5.3-Flash 编程和智能体模型，提供五种量化大小的 GGUF 文件。每层保留 288 个专家中的 152 个，把 321B 模型缩小到约 170B。

gemma-4-31B-it-GGUF

unsloth · 工具包

通过 Unsloth 的 GGUF 文件在本地运行 Google 的 Gemma 4 31B 指令微调模型，支持文本和图像输入，上下文很长。适合想要强大本地推理和编程模型的开发者。

Idol-GGUF

TimeLordRaps · 工具包

SperiD Labs 的 Idol 的 8-bit GGUF 版本，把一张图像变成 3D 高斯点云和网格，用 idol.cpp 在本地运行。适合做图像转 3D 的开发者。

Qwen3-8B-GGUF

Qwen · 工具包

在 llama.cpp 或 Ollama 中运行量化后的 Qwen3-8B GGUF 文件，有用于数学、代码和逻辑的思考模式，也有用于聊天的普通模式。适合想要本地模型并能选择文件大小的人。

GLM-5.3-Flash Maya GGUF

peasantsmith · 工具包

GLM-5.3-Flash 的五个 GGUF 压缩版本，GLM-5.3-Flash 是 321B 的混合专家模型，大小从 73.4 GB 到 156.3 GB，为 Project Maya 制作，它把模型分摊到 GPU、内存和固态硬盘上。

Qwen3.8-9B-Distill-GGUF

empero-ai · 工具包

Empero 的 Qwen3.8-9B 的 GGUF 量化版本，一个由更大的 Qwen3.8 蒸馏到 Qwen3.5-9B 架构里的推理模型，适用于 llama.cpp、Ollama、LM Studio 等工具。

ZONOS3-Mini GGUF

AtomicChat · 工具包

把 ZONOS3-Mini 文本转语音模型打包成适用于 llama.cpp 的 GGUF 文件，内置 27 种声音，有从 0.41 到 1.61 GB 的六种主干大小。适合在本地运行语音的开发者。

Gemma4-12B v2 Coding + Agentic Edition

yuxinlu1 · 工具包

Google Gemma 4 12B 指令模型的 GGUF 微调版本，面向编程和使用工具的智能体工作，只需约 4.5 GB 空闲内存就能离线运行。

Qwen3.8-35B-A3B-Distill-GGUF

empero-ai · 工具包

用十种尺寸的 GGUF 文件运行一个 35B 混合专家模型，每个 token 约 3B 参数在工作，另附视觉投影文件。适合 llama.cpp、Ollama、LM Studio、Jan 和 KoboldCpp 用户。