开发者 AI 技能与智能体

DeepSeek-R1-GGUF

unsloth · 工具包

671B 参数 DeepSeek-R1 推理模型的 GGUF 版本，带 1.58-bit 和 2-bit 动态量化，可在内存足够的本机上用 llama.cpp 运行。

Axion-1.0-35B-GGUF

prithivMLmods · 工具包

提供 Axion-1.0-35B 的 GGUF 文件，这是一个有约 30 亿激活参数的 35B 混合专家模型，面向科学推理、信息查找和工具使用。适合配合 llama.cpp 在本地使用。

Bonsai-27B-GGUF

lmstudio-community · 工具包

面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版，含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。

Qwen2.5-7B-Instruct-GGUF

Qwen · 工具包

Qwen2.5-7B-Instruct 的 GGUF 文件，提供八种量化大小，可通过 llama.cpp 在本地聊天。适合想在自己电脑上用 7.6B 强力模型、又不想搭 Python 环境的人。

officialmobai_Rostam-S1-4B-GGUF

bartowski · 工具包

Rostam-S1-4B 的 GGUF 量化版本，这是一个 4B 推理模型，擅长数学、物理、软件工作和波斯语与英语文本。适合在本地运行小模型、想自己挑文件大小的人。

Hemmingway-1.5 GGUF

bartowski · 工具包

HemmingwayAI 的 Hemmingway-1.5 的 imatrix GGUF 量化版本，这是一个 27B 文本模型，支持 MTP 推测解码，并有推理强度提示格式。适合在本地运行大模型的人。

AsteroRank-Lepton-GGUF

Asteromorph · 工具包

用面向 STEM 和通用搜索的重排序模型按相关度给搜索结果排序，以 GGUF 文件提供，可在 llama.cpp 中运行。适合想在本地排序的开发者和研究者，仅限非商业使用。

Swift 1.5 Ornith 9B GGUF

ukisai · 工具包

以 llama.cpp 用的 GGUF 量化版本运行 Swift 1.5 Ornith 9B，这是一个调校成用更少 token 思考的推理模型。适合在自己机器上运行 9B 推理模型的人。

MN-Violet-Lotus-12B-GGUF

mradermacher · 工具包

FallenMerick 的 MN-Violet-Lotus-12B 的静态 GGUF 文件，大小从 4.9 GB 到 13.1 GB。适合想在自己电脑上运行 12B 模型的人。

Ornith-1.5-9B-GGUF

AtomicChat · 工具包

Ornith 1.5 9B 的 GGUF 版本，这是一个能读图像和文字的模型，文件大小从 2.81 GB 到 17.9 GB，另有视觉投影文件。选一个适合你显存的文件，在本地运行。

Groot-19B-A3B-TTQ-GGUF

TokenTinkerer · 工具包

为 llama.cpp 提供 Groot-19B-A3B 推理模型的十一种 GGUF 大小，从 7.88 到 18.59 GiB，另有一个视觉投影文件。适合在自己电脑上运行该模型的人。

Qwen3.5-4B-3D-Coder-GGUF

prithivMLmods · 工具包

用早期预览版 Qwen3.5-4B 微调模型的 GGUF 副本写代码，并生成自包含的 Three.js 交互 3D 场景页面。适合在本地做 3D 场景原型的开发者。

Qwen3.8-27B-DFlash2-GGUF

z-lab · 工具包

GGUF 格式的草稿模型，通过提出词元块让主模型验证来加速 Qwen3.8-27B。适合在本地用 llama.cpp 运行该模型的人。

SmolLM3-3B-GGUF

unsloth · 工具包

用 SmolLM3 聊天和推理，这是个完全开放的 3B 模型，可以一步步思考，也可以直接回答，提供 Unsloth 制作的 GGUF 文件，带聊天模板修复。能处理长文本和六种语言。

Qwen3.6-27B-GGUF

unsloth · 工具包

在本地处理智能体编码和图文任务，是 Unsloth 提供的 Qwen3.6-27B 的 GGUF 文件，支持思考保留和长上下文。适合运行本地编码智能体的开发者。

Qwen3.5-4B-MTP-GGUF

unsloth · 工具包

Unsloth 制作的带多 token 预测的 Qwen3.5-4B 的 GGUF 文件，让 llama.cpp 使用推测解码，生成速度约快 1.5 到 2 倍。适合在本地运行小型多模态模型的人。

Qwen3-30B-A3B-GGUF

unsloth · 工具包

unsloth 量化的 Qwen3-30B-A3B GGUF 文件，用于在 llama.cpp、Ollama 或 Open WebUI 里运行本地聊天和推理模型，思考模式可以逐轮开关。

Qwen3-14B-GGUF

unsloth · 工具包

把 Qwen3 14B 做成 GGUF 文件，可在你自己的电脑上运行。这个文本生成模型既能深入思考难题，也能快速作答。由 unsloth 打包，适合在本地运行模型的人。

Qwen2.5-Coder-7B-Instruct-GGUF

unsloth · 工具包

在你自己的电脑上编写、解释和修复代码，是 Unsloth 提供的 Qwen2.5-Coder 7B 指令模型的 GGUF 副本。适合想要本地编码助手的开发者。

Olmo-3-32B-Think-GGUF

unsloth · 工具包

把 32.2B 参数的推理模型 Olmo 3 32B Think 做成 GGUF 文件，可以在你自己的电脑上运行。由 unsloth 打包，适合想本地使用 Apache 2.0 模型的人。

Llama-3.2-3B-Instruct-GGUF

unsloth · 工具包

用 Meta 的紧凑模型 Llama 3.2 3B 指令版聊天、总结和回答问题，提供 Unsloth 制作的 GGUF 文件，从 2 位到 16 位。小到普通笔记本也能用。

gpt-oss-120b-GGUF

unsloth · 工具包

用 Unsloth 制作的 GGUF 文件运行 OpenAI 的开放权重模型 gpt-oss-120b，它有 117B 参数，其中 5.1B 处于激活状态，文件带有 Unsloth 的修复。面向推理、智能体任务和开发者使用。

gemma-3-27b-it-GGUF

unsloth · 工具包

用 Google 的 Gemma 3 27B 指令微调模型回答关于文本和图像的问题，提供 Unsloth 制作的 GGUF 文件，可在你自己的电脑上运行。支持 128K 词元上下文。

gemma-3-270m-it-GGUF

unsloth · 工具包

作为 268M 的指令微调 Gemma 3 模型，以 GGUF 格式根据提示词生成文本，小到可以在笔记本和台式机上运行。适合想要一个微型本地模型来运行或微调的开发者。

gemma-3-12b-it-GGUF

unsloth · 工具包

用 Google Gemma 3 12B 指令模型的 GGUF 文件回答问题、总结文本并读图，适合想在自己电脑上运行它的人。

ERNIE-4.5-21B-A3B-Thinking-GGUF

unsloth · 工具包

用每个词元只激活 3B 参数的 21B 混合专家模型处理逻辑、数学、科学和编程问题，提供 Unsloth 制作的 GGUF 文件。支持工具调用和 128K 上下文。

bge-small-en-v1.5-GGUF

unsloth · 工具包

把英文文本变成嵌入向量，用于搜索和检索，是一个 33.2M 参数的小型 GGUF 文件。适合在普通硬件上构建搜索或检索应用的开发者。

Clef-LoRA-for-Qwen3.8-27B-GGUF

trevest · 工具包

把 Cloudflare Clef 的决策头加到 Qwen3.8-27B 聊天模型上，让一台 24 GB GPU 上的 llama.cpp 服务器既能回答带类型的问题，也能聊天。它是 LoRA 适配器，不是独立模型。

Sweep Next-Edit 1.5B (GGUF)

sweepai · 工具包

根据当前打开的文件、最近的改动和当前状态预测你的下一处代码修改，以 1.5B 的 Q8_0 GGUF 模型在本地运行。适合想在自己笔记本上获得编辑自动补全的开发者。

Qwen3-TTS GGUF

Serveurperso · 工具包

这个模型通过 C++ 运行时 qwentts.cpp，在 CPU、CUDA、Metal 或 Vulkan 上用多种语言朗读文本，有命名说话人和普通话方言，还能用一段短录音克隆声音。适合想在本地做文字转语音的开发者。

Sarvam-105B GGUF

sarvamai · 工具包

Sarvam-105B 的 GGUF 版本，一个重视印度语言的大型混合专家模型，按 4 位拆成 9 个分片，供 llama.cpp 使用。适合内存充足、想用大型开源模型的人。

MiMo-V2.6-Distill-Qwen-9B-GSQ-RCO-GGUF

sainez · 工具包

把一个 9B 的编程和工具调用模型做成一个 3.64 GiB 的 GGUF 文件，以约 3.5 比特每权重量化，方便在你自己的机器上运行。

Unlimited-OCR-2-GGUF

RX5950XT · 工具包

Unlimited-OCR-2 文档 OCR 模型的 GGUF 文件，提供 BF16、Q8_0 和 Q4_K_M，并附视觉投影器。只能在应用了仓库补丁的 llama.cpp 里运行，适合在本地读取扫描和多页文档的人。

Qwen3-30B-A3B-GGUF

Qwen · 工具包

一个 30.5B 的混合专家聊天模型，GGUF 格式，每个词元只激活 3.3B 参数，可在 llama.cpp 或 ollama 里运行。有思考和普通两种模式，适合机器配置较高的开发者。

Qwen3-0.6B-GGUF

Qwen · 工具包

一个 0.6B 的小型 GGUF 聊天模型，可在 llama.cpp 或 ollama 里本地运行，并能在思考和普通回复之间切换。适合硬件一般的用户和测试本地模型的开发者。

Qwen2.5-Coder-32B-Instruct-GGUF

Qwen · 工具包

一个 32B 代码聊天模型的 GGUF 版本，可用 llama.cpp 在本地运行。能根据简单请求编写、解释和修复代码，适合想在自己机器上运行的开发者。

pplx-decider-flash-gguf-v1.2

perplexity-ai · 工具包

根据你设定的选项给请求分类，支持文本和图像，使用小型决策模型的 Q8_0 GGUF 副本。适合能运行协议 v3 运行时的开发者。

Luciole-8B-Instruct-1.1-GGUF

OpenLLM-France · 工具包

Luciole-8B-Instruct-1.1 的量化 GGUF 副本，一个支持法语和英语的 8B 文本生成模型，可在你自己的电脑上运行。来自 LINAGORA 在 OpenLLM-France 联盟中的工作。

SenseNova-6.8-Code2Video GSQ-RCO GGUF

OliviaRossi · 工具包

以混合精度 GGUF 文件运行 26.9B 参数的 SenseNova-6.8-Code2Video 模型，可在终端聊天或启动本地服务。适合想在自己硬件上使用该模型的人。

RealVisXL V5.0 GGUF

off-grid-ai · 工具包

用 stable-diffusion.cpp 加上 RealVisXL V5.0 的 GGUF 副本，在你自己的电脑上根据文字生成图片。适合想在本地生成图片、并在更轻或更高质量的文件之间选择的人。

Juggernaut XL v9 GGUF

off-grid-ai · 工具包

用 stable-diffusion.cpp 加上 Juggernaut XL v9 的 GGUF 副本，在你自己的电脑上根据文字生成图片。适合想在本地生成图片、并在更轻或更高质量的文件之间选择的人。

Hermes-4.3-36B-GGUF

NousResearch · 工具包

Hermes 4.3 36B 的 GGUF 版本，是一个混合推理模型，能先思考再回答、写出有效的 JSON，并遵循你的系统提示词。适合在自己机器上运行大模型的人。

nomic-embed-text-v1.5-GGUF

nomic-ai · 工具包

通过 llama.cpp 在你自己的机器上把句子变成向量，使用紧凑的 GGUF 文件，适合搜索和 RAG 提问。适合想要本地文本嵌入的开发者。

Qwen3.8-Flash-Next-DFlash2-GGUF

nazeshinjite · 工具包

一个 GGUF 草稿模型，通过推测解码让 llama.cpp 里的 Qwen3.8-Flash-Next 更快，文件有 334 MiB 和 622 MiB 两种。它不是独立模型，适合在本地运行该目标模型的人。

Qwen3.8-27B Fable-5 Coding Distilled GGUF

mradermacher · 工具包

一个 27.3B、经过编程蒸馏的 Qwen3.8 模型的 GGUF 量化文件，从 2 位到 8 位，另有可选的多模态补充文件。适合在本地运行编程模型、需要一个放得进内存的尺寸的开发者。

OneJev1.6-4B-GGUF

mradermacher · 工具包

OneJev1.6-4B 的量化 GGUF 副本，大小从约 2 GB 到 8.5 GB，可在你自己的电脑上运行。模型卡没有说明基础模型的用途。

L3-8B-Stheno-v3.3-32K-GGUF

mradermacher · 工具包

Sao10K 的 Stheno 8B 模型的静态 GGUF 文件，大小从 3.3 GB 到 16.2 GB。适合想在自己电脑上运行 8B 模型的人，许可证为非商业。

KnowLine-4B-Gen5.5-GGUF

mradermacher · 工具包

PelaAI 的 KnowLine 4B 模型的静态 GGUF 文件，大小从 2.1 GB 到 8.8 GB，标注了英文和中文。适合想在自己电脑上运行小模型的人。

Muse Glimmer 30B GGUF

meta-models · 工具包

一个 300 亿参数智能体模型的 GGUF 版本，供 llama.cpp 使用，附带可选的图像编码器和推测解码草稿模型。适合在 24 GB 显卡上本地运行模型的人。

dale-9b (GGUF)

manuelgscom · 工具包

把西班牙语或英语请求变成一条 Linux bash 命令，以小型 JSON 对象返回。适合想要在 CPU 或 GPU 上运行本地命令助手的终端用户和开发者。

askmdb-9b-GGUF

manuelgscom · 工具包

根据西班牙语或英语的日常提问，写出只读的 MongoDB 聚合管道。这是 Qwen3.5-9B 微调版的 GGUF 副本，可用 llama.cpp 在本地运行，适合想用日常语言查询数据的开发者。

Qwopus3.8-27B-Flash-GGUF

Jackrong · 工具包

为长时间的智能体任务缩短推理时间、降低成本，是 Qwen3.8-27B 微调模型的 GGUF 版本。适合在自己机器上跑智能体循环、想让每一轮更快的人。

Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

Jackrong · 工具包

在 think 标签里一步步思考问题，是用推理链微调的 4B Qwen3.5 模型，以 GGUF 打包。适合想在自己电脑上运行小型推理模型的人。

Qwen3.8-Flash-Coder APEX-I-MiniPlus V2.1 GGUF

IsValorum · 工具包

一个仅支持英文的编程模型，GGUF 格式，42.6B 参数的混合专家量化版，约 21.8 GB，用于在 llama.cpp 或 LM Studio 里做代码补全、重构和智能体工具调用。

K2-Horizon-3.7B-GGUF

IFM · 工具包

3.7B 参数 K2-Horizon 文本模型的 GGUF 文件，提供从 BF16 到 Q4_K_M 的六种精度，用于 llama.cpp 运行。模型有 512K token 的上下文窗口。

granite-4.2-8b GGUF

ibm-granite · 工具包

提供 IBM Granite 4.2 8B 模型的多种量化级别 GGUF 副本，可直接用于 llama.cpp。适合想在本地运行该模型、并从基础模型卡了解详情的人。

Granite-4.2-3B (GGUF)

ibm-granite · 工具包

把 IBM 的 Granite 4.2 3B 文本模型打包成 GGUF 文件，供本地使用。4 位权重估计约 1.8 GB，适合想要采用 Apache 2.0 许可的小型模型的人。

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

hesamation · 工具包

以四种量化大小的 GGUF 文件在你自己的机器上运行推理微调的 Qwen3.6-35B-A3B，训练数据是 Claude Opus 4.6 风格的推理数据。适合想在本地获得逐步推理回答的人。

phonon-31m English for llama.cpp

gradium · 工具包

在命令行或本地服务器上把英语文字转成语音，是 Phonon 31M 模型面向 llama.cpp 的 GGUF 版本。适合已经在用带 Phonon 支持的 llama.cpp 的开发者。

gemma-4-31B-it-qat-q4_0-gguf

google · 工具包

把 Google 的 Gemma 4 31B 指令微调模型做成 4-bit GGUF 文件来运行，能读取文字和图片并用文字回答。适合有消费级显卡或工作站的开发者和爱好者。

Qwen2.5-Coder-1.5B Q8_0 GGUF

ggml-org · 工具包

通过 llama.cpp 在你自己的机器上运行 Qwen2.5-Coder 1.5B 的 Q8_0 GGUF 文件，可以用命令行，也可以做成本地服务器。适合想用小型代码模型的开发者。

embeddinggemma-2 GGUF

ggml-org · 工具包

用 llama 命令或 Llama 应用运行 Google embeddinggemma-2 的 GGUF 副本，这是一个 271M 的特征提取模型。适合想在本地使用小型文本嵌入模型的开发者。

Clef-GGUF

ggml-org · 工具包

Cloudflare 的 Clef 决策模型的 GGUF 文件，支持图像和文本输入。用 llama.cpp 工具提供服务，通过决策 API 路径调用。适合在自己机器上运行它的开发者。

Kvark-Sparkle-1.0-27B

Egzakta · 工具包

能处理图像和文字，推理时用的思考 token 比基座 Qwen3.8-27B 更少，据模型卡称，在相近的准确率下回答时间约减半。另有 FP8 和 GGUF 版本。

Qwen3-ASR-1.7B GGUF

cstr · 工具包

用 Qwen3-ASR-1.7B 的量化 GGUF 文件，在 CrispASR 里把语音、歌声和歌曲转成文字或英文。适合想在本地转写 30 种语言和 22 种中文方言的人。

Qwen 3.6 35B-A3B REAP-48 v2 GGUF

crucible-labs · 工具包

在 8.78 GiB 的 GGUF 文件里运行经过剪枝和量化的 Qwen3.6-35B-A3B，供 llama.cpp 使用，比第一版更接近未量化的权重。适合内存有限的人。

t5-v1_1-xxl-encoder-gguf

city96 · 工具包

Google T5 v1.1 XXL 文本编码器的 GGUF 转换版，用于在 llama.cpp 里生成文本嵌入，或通过 ComfyUI-GGUF 为图像生成模型提供输入。适合开发者和图像生成用户。

pig-vae

calcuis · 工具包

pig 架构的小型 GGUF VAE，用于图像和视频工作流，加载器在 gguf-node 包里。目标是在较旧的机器上运行更快、占用内存更少。

Qwen3.5-9B GGUF (ShapeLearn)

byteshape · 工具包

Qwen3.5-9B 的 GGUF 副本，这个模型能读文字和图像，用 ByteShape 的 ShapeLearn 压缩，面向 llama.cpp。有 GPU 和 CPU 的版本，大小约从 3 GB 到 5.7 GB。

North-Mini-Code-1.0 GGUF

byteshape · 工具包

North-Mini-Code-1.0 编程模型的 GGUF 副本，用 ByteShape 的 ShapeLearn 压缩，面向 llama.cpp 中的 GPU 使用。四种大小，从 12.1 GB 到 21.5 GB，适合单 GPU 的开发者。

Qwen3.5-4B GGUF

bartowski · 工具包

Qwen3.5-4B 的 imatrix GGUF 量化版本，这是一个带 MTP 层的 4.3B 图文模型，4 位文件约 3 GB。适合在本地运行小模型的人。

MiniCPM5-2B-GGUF

bartowski · 工具包

MiniCPM5-2B 文本模型的多种大小的量化 GGUF 副本，用 llama.cpp 和重要性矩阵制作。适合在自己电脑上运行小型中英文模型的人。

Llama-3.2-1B-Instruct GGUF

bartowski · 工具包

Llama-3.2-1B-Instruct 的 GGUF 量化版本，这是一个支持八种语言的 1.2B 文本模型，4 位文件约 0.8 GB。适合运行微型本地模型的人。

granite-4.2-3b-GGUF

bartowski · 工具包

IBM 的 granite-4.2-3b 文本模型的量化 GGUF 副本，从完整精度到较小的 3 位文件，尺寸齐全。适合想在自己电脑上运行小型聊天模型的人。

google_gemma-4-31B-it-GGUF

bartowski · 工具包

Google Gemma 4 31B 指令模型的量化 GGUF 文件，大小从 17.15 GB 到 61.41 GB，由 bartowski 用重要性矩阵制作。可读取图像和文字。可在 llama.cpp、LM Studio 等工具里运行。

Cloudflare clef GGUF

bartowski · 工具包

Cloudflare 的 clef 决策模型的静态 GGUF 量化版本，它不写文字，而是一次性为关于某个状态的类型化问题的每个选项打分。适合用 llama.cpp 运行它的开发者。

MOSS-Image-SFT GGUF

axiomofmind · 工具包

MOSS-Image-SFT 扩散 Transformer 的非官方 GGUF 文件，有 Q8_0 和 Q4_K_S 两种，用 stable-diffusion.cpp 在本地做文字生成图像。需要另外准备 Qwen3.5-9B 编码器、分词器和 VAE。

Ming 3.0 TTS 0.5B GGUF

audio-cpp · 工具包

为 audio.cpp 运行时打包的 Ming 3.0 TTS 0.5B GGUF：文字转语音、声音克隆和声音设计，支持七种语言，输出单声道 44.1 kHz，不需要 Python 运行环境。适合开发者。

Qwen3.5-35B-A3B-GGUF

unsloth · 工具包

在你自己的机器上读取文字和图片、编写代码并调用工具，使用 Unsloth 刷新后的 Qwen3.5 35B-A3B 视觉语言模型 GGUF 文件。适合运行本地智能体的开发者。

Hy-MT2-7B-GGUF

tencent · 工具包

在 33 种语言之间翻译文本并遵循翻译指令，是腾讯 7B 模型面向 llama.cpp 的 GGUF 版本。适合在本地运行翻译的开发者。

Hy-MT2-1.8B-GGUF

tencent · 工具包

在 33 种语言之间翻译文本并遵循翻译指令，是适用于 llama.cpp 的 1.8B GGUF 格式模型。适合想要一个小型本地翻译器的开发者。

BaronLLM Offensive Security LLM Q6_K GGUF

AlicanKiraz0 · 工具包

回答安全问题，帮助规划经授权的红队演练，是 Llama 3.1 8B 的 Q6_K GGUF 微调版本。适合在有权测试的系统上工作的安全研究人员。

Qwen3.8-27B Agention Precision GGUF

agentionai · 工具包

把 Qwen3.8-27B 打包成适用于 llama.cpp 的 GGUF 文件，有八种大小，从 8.95 到 16.35 GiB，另附视觉投影器。作者称在每个大小上，它与 BF16 模型的偏离都比其他量化版本小。

Occamy-1.0

Accio-Lab · 工具包

Accio-Lab 推出的开放 35B 图文模型，基于 Qwen3.6-35B-A3B，提供 BF16、GGUF、FP8、NVFP4 和 MLX 格式。适合部署大模型的团队。

Qwen3.8-Flash-Next-125B-UltraLite-37GiB-GGUF

0xKitkat · 工具包

把 Qwen3.8-Flash-Next 混合专家模型压缩成约 37 GiB 的纯文本 GGUF 文件，供实验使用。它需要发布包里附带的补丁版 llama.cpp 才能运行。

Strata-Sage-A1.5-GGUF

ykarout · 工具包

为 Strata 推理引擎准备的 35B 模型 Sage-A1.5 的 Q4_K_M GGUF，能在 16 GB 显卡加 64 GB 内存上放下完整的 262K 上下文。适合在本地运行大模型的人。

OpenBonsai Qwen3.5-9B Ternary

webbrain-one · 工具包

用约 2 GB 的 GGUF 文件运行被压缩成三值权重的 Qwen3.5-9B，可在两个 llama.cpp 变体里用 CPU 运行。适合尝试极端压缩的研究预览版。

Granite Speech 5.0 TurboCTC 470M GGUF

vladers · 工具包

把语音转成文字，支持七种语言，是 IBM Granite Speech 5.0 TurboCTC 470M 的量化 GGUF 版本，为 transcribe.cpp 制作。适合想加入本地听写或转录功能的开发者。

Z-Image-Turbo-GGUF

unsloth · 工具包

Unsloth 制作的 Z-Image-Turbo 的 GGUF 文件，这是一个快速的蒸馏文生图模型，作者称它能放进 16 GB 的消费级 GPU。适合用支持 GGUF 的工具在本地生成图像的人。

Qwen3.6-27B-MTP-GGUF

unsloth · 工具包

用 Qwen3.6 27B 写代码和推理，提供 Unsloth 制作的、带多词元预测的 GGUF 文件，卡片说回复能快约 1.5 到 2 倍，且不损失准确度。为编程智能体而做。

Qwen3.5-0.8B-MTP-GGUF

unsloth · 工具包

在 llama.cpp 里运行小型的 Qwen3.5 0.8B 视觉语言模型，借助多 token 预测加快生成，使用 Unsloth 的 GGUF 文件。适合测试推测解码的开发者。

Muse Glimmer 30B GGUF

unsloth · 工具包

在本地运行一个能读文字和图片、调用工具并在调用失败后重试的 30B 智能体模型，使用 Unsloth 的 GGUF 文件。适合在消费级硬件上构建本地智能体的开发者。

granite-4.1-8b-GGUF

unsloth · 工具包

用 IBM 的 Granite 4.1 8B 模型遵循指令、调用工具和聊天，提供 Unsloth 制作的 GGUF 文件，包含聊天模板修复。适合商业助手和会用工具的智能体。

gemma-4-31B-it-qat-GGUF

unsloth · 工具包

用 Unsloth 的 4 比特 QAT GGUF 文件运行 Google 的 Gemma 4 31B 指令模型，自带用于推测解码的草稿模型，可在 llama.cpp 中加速。适合在本地部署大型多模态模型的人。

YuE2-GGUF

Serveurperso · 工具包

yue2.cpp 的预量化 GGUF 文件，yue2.cpp 是一个 C++ 歌曲生成器，把风格标签和歌词变成立体声音频，并附上它写出的乐谱。适合想在自己电脑上运行的音乐人和爱好者。

Haas-ja-v1.0-GGUF

sakasegawa · 工具包

日语语音识别模型的 GGUF 文件，只能在 speech.cpp 中运行，支持 macOS、Windows、Linux，也可只用 CPU。适合在自己电脑上转写日语音频的人。

Flint NVFP4 GGUF

RecursiveSI · 工具包

Recursive Flint 文本模型的 4-bit NVFP4 单文件 GGUF 版本，通过 llama.cpp 在 NVIDIA GPU 上运行。适合用 pi 或 OpenCode 在本地跑大模型的开发者。

Qwen3-Embedding-0.6B-GGUF

Qwen · 工具包

这个 0.6B 的 GGUF 格式模型把文本变成数字向量，用于 100 多种语言的搜索、检索和聚类。适合要在自己机器上做搜索或相似度功能的开发者。

Qwen3-1.7B-GGUF

Qwen · 工具包

提供 Qwen3 1.7B 小型对话模型的 q8_0 GGUF 文件，供 llama.cpp 使用，可在思考与非思考回复之间切换。适合想要轻量本地助手的人。

Xiaomi-OCR-0-GGUF

prithivMLmods · 工具包

提供 Xiaomi-OCR-0 的 GGUF 文件，这是一个用来读取文档和图片文字的 0.8B 紧凑视觉语言模型，大小从约 466 MB 到 1.52 GB。适合配合 llama.cpp 做本地 OCR。