来自 Hugging Face 的 AI 项目

Ornith-1.5-122B-GGUF

unsloth · 工具包

在你自己的机器上运行 Ornith-1.5-122B 文本模型，由 unsloth 制作成 GGUF 文件。这是一个 122B 混合专家模型，面向单块 GPU 上的编程和智能体工作。

Qwen3.5-9B-MTP-GGUF

unsloth · 工具包

Qwen3.5 9B 的 GGUF 版本，支持在 llama.cpp 里用多词元预测做推测解码，生成更快。适合会自己构建 llama.cpp、想在本地运行这个模型的人。

Qwen3.5-0.8B-GGUF

unsloth · 工具包

unsloth 制作的 Qwen3.5-0.8B 小型 GGUF 版本，能读图片和文字并用文字回答。适合在本地做原型、微调和研究。

gpt-oss-20b-GGUF

unsloth · 工具包

在你自己的电脑上运行 OpenAI 开放权重的 gpt-oss-20b 推理模型，由 unsloth 打包成 GGUF 文件。适合想要本地模型、并能调节推理强度的开发者。

Qwen2.5-VL-7B-Instruct-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen2.5-VL-7B-Instruct 的 GGUF 文件，这个视觉语言模型能读图像、图表、文档和长视频，还能输出坐标和结构化数据。适合在本地运行它的人。

gemma-4-E4B-it-GGUF

unsloth · 工具包

Google Gemma 4 E4B 指令模型的 4-bit GGUF 版本，由 Unsloth 打包，可在你自己的机器上运行。它能读取文字和图像，并用文字回答。

gemma-4-12b-it-GGUF

unsloth · 工具包

Unsloth 制作的 Google 指令微调 Gemma 4 12B 的 GGUF 量化版本，一个能读文字、图片、音频和视频并输出文字的模型，适合本地运行。

embeddinggemma-2-GGUF

unsloth · 工具包

把文字变成 768 维向量，用于设备端的搜索、检索和聚类。基础模型还支持图像、视频和音频。由 Unsloth 打包成 GGUF。

gemma-4-12B-it-qat-GGUF

unsloth · 工具包

Gemma 4 12B 的 GGUF 版本，经过量化感知训练，4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人，附带加快输出的草稿文件。

Qwen3.8-27B-NVFP4

unsloth · 工具包

Unsloth 制作的 Qwen3.8 27B 视觉语言模型的 4-bit NVFP4 副本，用 vLLM 提供服务。适合想要能读图像和视频、能在智能体工具里工作的稠密模型的开发者。

gemma-4-31B-it-GGUF

unsloth · 工具包

通过 Unsloth 的 GGUF 文件在本地运行 Google 的 Gemma 4 31B 指令微调模型，支持文本和图像输入，上下文很长。适合想要强大本地推理和编程模型的开发者。

Qwen3.5-4B-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen3.5-4B GGUF 量化版本，一个能读图片和文字并用文字回答的小模型，适合在本地运行模型的人。

GLM-5.3-Flash-GGUF

unsloth · 工具包

在你自己的硬件上运行 Unsloth 的 GLM-5.3-Flash 文本模型 GGUF 版本，作者把这个大型开源模型定位于编码和智能体工作。适合内存充足的人。

Qwen3.6-35B-A3B-MTP-GGUF

unsloth · 工具包

通过 Unsloth 的 GGUF 文件在本地运行 Qwen3.6-35B-A3B，带多词元预测，让 llama.cpp 解码更快。适合想要本地智能体编程模型的开发者。

flint-GGUF

unsloth · 工具包

用 Unsloth 的 GGUF 文件运行 Flint，这是面向编程智能体的 39.8B 混合专家模型，每个词元只用约 2.5B 参数。适合在本地运行编程智能体的开发者。

Qwen3.5-9B-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen3.5-9B GGUF 量化版本，一个能读图片和文字并用文字回答的中等规模模型，适合在本地运行模型的人。

Qwen3.8-27B-QSA-GGUF

higa2515 · 工具包

用 GGUF 文件运行带稀疏注意力的 Qwen3.8-27B，提供 Q8_0 和 Unsloth 的 Q4、Q5、Q6 混合版本，支持文字、图片和视频输入。适合使用 NVIDIA 显卡的 Linux 用户。

Qwen3.6-35B-A3B-GGUF

unsloth · 工具包

用 Unsloth 的 GGUF 文件运行 Qwen3.6-35B-A3B，这是能读图和文字的混合专家模型，每个词元只用约 3B 参数。适合在本地运行大模型的开发者。

DeepSeek-V4.1-Flash-1017-GGUF

unsloth · 工具包

Unsloth 制作的 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本，这是一个巨大的图文模型，可在 128 GB 或更多内存的机器上本地运行，适合自己运行大型开放模型的人。