浏览 AI 技能、智能体和自动化

Llama-3.2-1B-Instruct-GGUF

unsloth · 工具包

在笔记本上聊天、总结和回答文字问题，是 Unsloth 提供的 Meta 小型 Llama 3.2 1B Instruct 的 GGUF 副本，精度从 16 比特到 2 比特。适合开发者和学习者。

gemma-4-E2B-it-GGUF

unsloth · 工具包

Unsloth 制作的 Google DeepMind Gemma 4 E2B 指令微调模型的 GGUF 文件，接收文本和图像并输出文本，上下文为 128K。适合在笔记本和小型机器上本地运行模型的人。

gemma-3-4b-it-GGUF

unsloth · 工具包

在你自己的电脑上回答关于文字和图片的问题，是 Unsloth 打包的 Google Gemma 3 4B 指令模型的 GGUF 副本。适合想用小型本地模型的开发者和用户。

Qwen3.5-2B-GGUF

unsloth · 工具包

unsloth 制作的 Qwen3.5-2B 小型 GGUF 版本，能读图片和文字并用文字回答。适合在本地做原型、微调和研究。

MOSS-Image-SFT-GGUF

unsloth · 工具包

用压缩的 GGUF 文件在 CPU、Mac 或 GPU 上运行 MOSS-Image 文生图模型，可通过 Unsloth Studio 或 stable-diffusion.cpp 使用。适合在自己电脑上生成图片的人。

Ornith-1.5-122B-GGUF

unsloth · 工具包

在你自己的机器上运行 Ornith-1.5-122B 文本模型，由 unsloth 制作成 GGUF 文件。这是一个 122B 混合专家模型，面向单块 GPU 上的编程和智能体工作。

Qwen3.5-0.8B-GGUF

unsloth · 工具包

unsloth 制作的 Qwen3.5-0.8B 小型 GGUF 版本，能读图片和文字并用文字回答。适合在本地做原型、微调和研究。

gpt-oss-20b-GGUF

unsloth · 工具包

在你自己的电脑上运行 OpenAI 开放权重的 gpt-oss-20b 推理模型，由 unsloth 打包成 GGUF 文件。适合想要本地模型、并能调节推理强度的开发者。

Qwen2.5-VL-7B-Instruct-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen2.5-VL-7B-Instruct 的 GGUF 文件，这个视觉语言模型能读图像、图表、文档和长视频，还能输出坐标和结构化数据。适合在本地运行它的人。

gemma-4-E4B-it-GGUF

unsloth · 工具包

Google Gemma 4 E4B 指令模型的 4-bit GGUF 版本，由 Unsloth 打包，可在你自己的机器上运行。它能读取文字和图像，并用文字回答。

gemma-4-12b-it-GGUF

unsloth · 工具包

Unsloth 制作的 Google 指令微调 Gemma 4 12B 的 GGUF 量化版本，一个能读文字、图片、音频和视频并输出文字的模型，适合本地运行。

embeddinggemma-2-GGUF

unsloth · 工具包

把文字变成 768 维向量，用于设备端的搜索、检索和聚类。基础模型还支持图像、视频和音频。由 Unsloth 打包成 GGUF。

Qwen3.8-27B-NVFP4

unsloth · 工具包

Unsloth 制作的 Qwen3.8 27B 视觉语言模型的 4-bit NVFP4 副本，用 vLLM 提供服务。适合想要能读图像和视频、能在智能体工具里工作的稠密模型的开发者。

gemma-4-31B-it-GGUF

unsloth · 工具包

通过 Unsloth 的 GGUF 文件在本地运行 Google 的 Gemma 4 31B 指令微调模型，支持文本和图像输入，上下文很长。适合想要强大本地推理和编程模型的开发者。

Qwen3.5-4B-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen3.5-4B GGUF 量化版本，一个能读图片和文字并用文字回答的小模型，适合在本地运行模型的人。

GLM-5.3-Flash-GGUF

unsloth · 工具包

在你自己的硬件上运行 Unsloth 的 GLM-5.3-Flash 文本模型 GGUF 版本，作者把这个大型开源模型定位于编码和智能体工作。适合内存充足的人。

Qwen3.6-35B-A3B-MTP-GGUF

unsloth · 工具包

通过 Unsloth 的 GGUF 文件在本地运行 Qwen3.6-35B-A3B，带多词元预测，让 llama.cpp 解码更快。适合想要本地智能体编程模型的开发者。

flint-GGUF

unsloth · 工具包

用 Unsloth 的 GGUF 文件运行 Flint，这是面向编程智能体的 39.8B 混合专家模型，每个词元只用约 2.5B 参数。适合在本地运行编程智能体的开发者。

Qwen3.5-9B-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen3.5-9B GGUF 量化版本，一个能读图片和文字并用文字回答的中等规模模型，适合在本地运行模型的人。

Qwen3.8-27B-QSA-GGUF

higa2515 · 工具包

用 GGUF 文件运行带稀疏注意力的 Qwen3.8-27B，提供 Q8_0 和 Unsloth 的 Q4、Q5、Q6 混合版本，支持文字、图片和视频输入。适合使用 NVIDIA 显卡的 Linux 用户。