来自 Hugging Face 的 AI 项目

Qwen Sharp Chat Templates

peculiar-ragdoll · 工具包

替换 Qwen3.5、3.6 和 3.8 模型的聊天模板，让它们回答前少想一些、回复更紧凑。适合在本地运行 Qwen 做编程和知识工作的人。

Qwen3.8-27B-GGUF

lmstudio-community · 工具包

Qwen 的 Qwen3.8-27B 的 GGUF 量化版本，由 LM Studio 团队用 llama.cpp 制作，适合在自己电脑上运行 27B 模型的人。

Raon-1 mini (GGUF)

KRAFTON · 工具包

在 llama.cpp 中运行一个 28.8B 的混合专家模型，针对韩语对话、推理和调用工具的智能体做过优化。这是 Raon-1 mini preview 的 GGUF 版本，适合在自己电脑上运行模型的人。

Sage-A1.5 GGUF (Q4_K_M)

InternScience · 工具包

以 4-bit GGUF 文件运行 Sage-A1.5，这是面向长篇科学任务的 35B 混合专家智能体模型。它能把工作分给子智能体并检查自己的进展，适用于 llama.cpp、Ollama 和 LM Studio。

Qwen3.8-2B-Distill-GGUF

empero-ai · 工具包

在手机、笔记本和单板计算机上运行小型 2B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp。

Nanbeige_Nanbeige4.3-33B-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Nanbeige4.3-33B 制作的 GGUF 量化版本，大小约从 21 GB 到 66 GB。适合在本地用 llama.cpp 运行 33B 的中英文文本模型。

Qwen3.5-0.8B Astra Weight Edit

JonathanColetti · 工具包

直接编辑两个权重张量，不经训练，修复 Qwen3.5-0.8B 在思考模式下陷入的重复循环。这是一个小型图文模型，可用于 Transformers、vLLM、llama.cpp 和浏览器。

Qwen3.8-4B-Distill-GGUF

empero-ai · 工具包

在笔记本或中端显卡上运行 4B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp 等应用。

gemma-4-12B-it-qat-GGUF

unsloth · 工具包

Gemma 4 12B 的 GGUF 版本，经过量化感知训练，4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人，附带加快输出的草稿文件。

Bielik-11B-v3.1-Instruct GGUF

speakleash · 工具包

能用波兰语、英语和另外六种语言回答的聊天模型，打包成五种大小的 GGUF 文件，供 llama.cpp 或 Ollama 使用。适合想在自己电脑上用指令模型的人。

GLM-5.3-Flash-Coder-RCO-152E-GGUF

lapadatbogdan · 工具包

在家用电脑上运行裁剪过的 GLM-5.3-Flash 编程和智能体模型，提供五种量化大小的 GGUF 文件。每层保留 288 个专家中的 152 个，把 321B 模型缩小到约 170B。

Qwen3-8B-GGUF

Qwen · 工具包

在 llama.cpp 或 Ollama 中运行量化后的 Qwen3-8B GGUF 文件，有用于数学、代码和逻辑的思考模式，也有用于聊天的普通模式。适合想要本地模型并能选择文件大小的人。

jevos-v4

feder-cr · 工具包

一个本地决策模型，在笔记本 CPU 上约 28 到 130 毫秒就能回答关于文本的是非、选择和打分问题，为每个答案返回概率。适合想要免费本地方案、替代云端决策 API 的开发者。

Qwen3.8-9B-Distill-GGUF

empero-ai · 工具包

Empero 的 Qwen3.8-9B 的 GGUF 量化版本，一个由更大的 Qwen3.8 蒸馏到 Qwen3.5-9B 架构里的推理模型，适用于 llama.cpp、Ollama、LM Studio 等工具。

ZONOS3-Mini GGUF

AtomicChat · 工具包

把 ZONOS3-Mini 文本转语音模型打包成适用于 llama.cpp 的 GGUF 文件，内置 27 种声音，有从 0.41 到 1.61 GB 的六种主干大小。适合在本地运行语音的开发者。

Gemma4-12B v2 Coding + Agentic Edition

yuxinlu1 · 工具包

Google Gemma 4 12B 指令模型的 GGUF 微调版本，面向编程和使用工具的智能体工作，只需约 4.5 GB 空闲内存就能离线运行。

Qwen3.8-35B-A3B-Distill-GGUF

empero-ai · 工具包

用十种尺寸的 GGUF 文件运行一个 35B 混合专家模型，每个 token 约 3B 参数在工作，另附视觉投影文件。适合 llama.cpp、Ollama、LM Studio、Jan 和 KoboldCpp 用户。

humanizer

jialinyyzz · 工具包

把 AI 写的草稿，如邮件、文章、报告和论坛帖子，改写得像真人写的，支持英文和中文。一个 12B 模型，保留数字和名字，可在本地运行。

Qwen3.6-35B-A3B-MTP-GGUF

unsloth · 工具包

通过 Unsloth 的 GGUF 文件在本地运行 Qwen3.6-35B-A3B，带多词元预测，让 llama.cpp 解码更快。适合想要本地智能体编程模型的开发者。

Qwopus3.8-27B-Coder-Flash-GGUF

Jackrong · 工具包

作为 Qwen3.8-27B 的 GGUF 微调版，帮你写代码并胜任会调用工具的智能体任务，用约 20 万条代码、智能体和推理样例训练。适合在自己电脑上运行模型的开发者。