来自 Hugging Face 的 AI 项目

Qwen3.5-35B-A3B-GGUF

unsloth · 工具包

在你自己的机器上读取文字和图片、编写代码并调用工具，使用 Unsloth 刷新后的 Qwen3.5 35B-A3B 视觉语言模型 GGUF 文件。适合运行本地智能体的开发者。

Z-Image-Turbo-GGUF

unsloth · 工具包

Unsloth 制作的 Z-Image-Turbo 的 GGUF 文件，这是一个快速的蒸馏文生图模型，作者称它能放进 16 GB 的消费级 GPU。适合用支持 GGUF 的工具在本地生成图像的人。

Qwen3.6-27B-MTP-GGUF

unsloth · 工具包

用 Qwen3.6 27B 写代码和推理，提供 Unsloth 制作的、带多词元预测的 GGUF 文件，卡片说回复能快约 1.5 到 2 倍，且不损失准确度。为编程智能体而做。

Qwen3.5-0.8B-MTP-GGUF

unsloth · 工具包

在 llama.cpp 里运行小型的 Qwen3.5 0.8B 视觉语言模型，借助多 token 预测加快生成，使用 Unsloth 的 GGUF 文件。适合测试推测解码的开发者。

Muse Glimmer 30B GGUF

unsloth · 工具包

在本地运行一个能读文字和图片、调用工具并在调用失败后重试的 30B 智能体模型，使用 Unsloth 的 GGUF 文件。适合在消费级硬件上构建本地智能体的开发者。

granite-4.1-8b-GGUF

unsloth · 工具包

用 IBM 的 Granite 4.1 8B 模型遵循指令、调用工具和聊天，提供 Unsloth 制作的 GGUF 文件，包含聊天模板修复。适合商业助手和会用工具的智能体。

gemma-4-31B-it-qat-GGUF

unsloth · 工具包

用 Unsloth 的 4 比特 QAT GGUF 文件运行 Google 的 Gemma 4 31B 指令模型，自带用于推测解码的草稿模型，可在 llama.cpp 中加速。适合在本地部署大型多模态模型的人。

Qwen3.5-4B-Router-1M

MaziyarPanahi · 工具包

返回校准概率的小型决策模型，判断智能体下一步该做什么以及该调用哪个工具。适合构建智能体和客服机器人的开发者。

Qwen3.5-4B-Judge-1M

MaziyarPanahi · 工具包

返回校准概率的小型裁判模型，判断回复是否有来源支撑、文本是否不安全，以及属于哪个任务或领域。适合给 AI 流程加检查的开发者。

Qwen3.8-27B-Fable-5-Coding-Distilled

khazarai · 工具包

在提出修复方案前先检查真实文件，来调试和评审代码。这是 Qwen3.8-27B 的微调版，用 195M 词元的推理轨迹训练。适合构建编程智能体的开发者。

Qwopus3.8-27B-Flash-V2-GGUF

Jackrong · 工具包

减少长时间智能体任务里被浪费的推理，是 Qwen3.8-27B 第二版 Flash 微调模型的 GGUF 版本，Python 格式更好。适合在本地跑智能体循环的人。

Qwen3.8-27B-Jumbo-Fusion-IQ-747-900-Turbo-Brilliance-50X

DavidAU · 工具包

DavidAU 对 27B Qwen 模型的 GGUF 微调版，有可切换的指令和推理模式，以及内置的帮助系统。Hugging Face 把它列为图文转文字。供本地运行。

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF

DavidAU · 工具包

回答问题并读取图像，思考过程短得多。这是 DavidAU 对 27B 的 Qwen 3.8 的调优版 GGUF，目标是在保持准确度的同时减少推理 token，适合在本地运行模型的人。

Forge-1-Gemma-4-E2B

YoSaNoo · 工具包

一个从 Google 的 gemma-4-E2B 微调而来的小型文本模型，偏向写代码，以 GGUF 文件发布，可在 Ollama、LM Studio、Unsloth 或 Jan 中在自己的笔记本上运行。

Llama-3.2-1B-Instruct-GGUF

unsloth · 工具包

在笔记本上聊天、总结和回答文字问题，是 Unsloth 提供的 Meta 小型 Llama 3.2 1B Instruct 的 GGUF 副本，精度从 16 比特到 2 比特。适合开发者和学习者。

GLM-4-9B-0414-GGUF

unsloth · 工具包

用 9.4B 的 GLM-4-9B-0414 模型的 GGUF 文件生成中文和英文文本，适合想在自己电脑上运行 GLM 模型的人。

gemma-4-E2B-it-GGUF

unsloth · 工具包

Unsloth 制作的 Google DeepMind Gemma 4 E2B 指令微调模型的 GGUF 文件，接收文本和图像并输出文本，上下文为 128K。适合在笔记本和小型机器上本地运行模型的人。

gemma-3-4b-it-GGUF

unsloth · 工具包

在你自己的电脑上回答关于文字和图片的问题，是 Unsloth 打包的 Google Gemma 3 4B 指令模型的 GGUF 副本。适合想用小型本地模型的开发者和用户。

Qwen3.5-2B-GGUF

unsloth · 工具包

unsloth 制作的 Qwen3.5-2B 小型 GGUF 版本，能读图片和文字并用文字回答。适合在本地做原型、微调和研究。

MOSS-Image-SFT-GGUF

unsloth · 工具包

用压缩的 GGUF 文件在 CPU、Mac 或 GPU 上运行 MOSS-Image 文生图模型，可通过 Unsloth Studio 或 stable-diffusion.cpp 使用。适合在自己电脑上生成图片的人。