SmolLM3-3B-GGUF
unsloth · 工具包
用 SmolLM3 聊天和推理，这是个完全开放的 3B 模型，可以一步步思考，也可以直接回答，提供 Unsloth 制作的 GGUF 文件，带聊天模板修复。能处理长文本和六种语言。
新上架
来自 Hugging Face 的 AI 项目
类别与筛选
商品
Qwen3.6-35B-A3B-NVFP4-Fast
unsloth · 工具包
在 NVIDIA 显卡上用 vLLM 运行 Unsloth 制作的快速 NVFP4 版 Qwen3.6 35B A3B。卡片说它的吞吐量是其他 NVFP4 版本的 1.79 倍，并且能放进 32 GB 显卡。
新上架
Qwen3.6-27B-GGUF
unsloth · 工具包
在本地处理智能体编码和图文任务，是 Unsloth 提供的 Qwen3.6-27B 的 GGUF 文件，支持思考保留和长上下文。适合运行本地编码智能体的开发者。
新上架
Qwen3.5-4B-MTP-GGUF
unsloth · 工具包
Unsloth 制作的带多 token 预测的 Qwen3.5-4B 的 GGUF 文件，让 llama.cpp 使用推测解码，生成速度约快 1.5 到 2 倍。适合在本地运行小型多模态模型的人。
新上架
Qwen3-30B-A3B-GGUF
unsloth · 工具包
unsloth 量化的 Qwen3-30B-A3B GGUF 文件，用于在 llama.cpp、Ollama 或 Open WebUI 里运行本地聊天和推理模型，思考模式可以逐轮开关。
新上架
Qwen3-14B-GGUF
unsloth · 工具包
把 Qwen3 14B 做成 GGUF 文件，可在你自己的电脑上运行。这个文本生成模型既能深入思考难题，也能快速作答。由 unsloth 打包，适合在本地运行模型的人。
新上架
Qwen2.5-Coder-7B-Instruct-GGUF
unsloth · 工具包
在你自己的电脑上编写、解释和修复代码，是 Unsloth 提供的 Qwen2.5-Coder 7B 指令模型的 GGUF 副本。适合想要本地编码助手的开发者。
新上架
Olmo-3-32B-Think-GGUF
unsloth · 工具包
把 32.2B 参数的推理模型 Olmo 3 32B Think 做成 GGUF 文件，可以在你自己的电脑上运行。由 unsloth 打包，适合想本地使用 Apache 2.0 模型的人。
新上架
Llama-3.2-3B-Instruct-GGUF
unsloth · 工具包
用 Meta 的紧凑模型 Llama 3.2 3B 指令版聊天、总结和回答问题，提供 Unsloth 制作的 GGUF 文件，从 2 位到 16 位。小到普通笔记本也能用。
新上架
gpt-oss-120b-GGUF
unsloth · 工具包
用 Unsloth 制作的 GGUF 文件运行 OpenAI 的开放权重模型 gpt-oss-120b，它有 117B 参数，其中 5.1B 处于激活状态，文件带有 Unsloth 的修复。面向推理、智能体任务和开发者使用。
新上架
gemma-3-27b-it-GGUF
unsloth · 工具包
用 Google 的 Gemma 3 27B 指令微调模型回答关于文本和图像的问题，提供 Unsloth 制作的 GGUF 文件，可在你自己的电脑上运行。支持 128K 词元上下文。
新上架
gemma-3-270m-it-GGUF
unsloth · 工具包
作为 268M 的指令微调 Gemma 3 模型，以 GGUF 格式根据提示词生成文本，小到可以在笔记本和台式机上运行。适合想要一个微型本地模型来运行或微调的开发者。
新上架
gemma-3-12b-it-GGUF
unsloth · 工具包
用 Google Gemma 3 12B 指令模型的 GGUF 文件回答问题、总结文本并读图，适合想在自己电脑上运行它的人。
新上架
ERNIE-4.5-21B-A3B-Thinking-GGUF
unsloth · 工具包
用每个词元只激活 3B 参数的 21B 混合专家模型处理逻辑、数学、科学和编程问题，提供 Unsloth 制作的 GGUF 文件。支持工具调用和 128K 上下文。
新上架
LFM2.5-350M-home-assistant-sft
OrdenWills · 工具包
把“关掉电视”这样的日常家居指令变成结构化的工具调用，并先检查设备状态。这是一个 3.5 亿参数的模型，适合智能家居开发者和爱好者。
新上架
Qwen3.8-27B Fable-5 Coding Distilled GGUF
mradermacher · 工具包
一个 27.3B、经过编程蒸馏的 Qwen3.8 模型的 GGUF 量化文件，从 2 位到 8 位，另有可选的多模态补充文件。适合在本地运行编程模型、需要一个放得进内存的尺寸的开发者。
新上架
Qwopus3.8-27B-Flash-GGUF
Jackrong · 工具包
为长时间的智能体任务缩短推理时间、降低成本，是 Qwen3.8-27B 微调模型的 GGUF 版本。适合在自己机器上跑智能体循环、想让每一轮更快的人。
新上架
Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF
Jackrong · 工具包
在 think 标签里一步步思考问题，是用推理链微调的 4B Qwen3.5 模型，以 GGUF 打包。适合想在自己电脑上运行小型推理模型的人。
新上架
以 MLX 格式、6 位运行一个只有 0.8B 的推理调优聊天小模型，转换自 Jackrong 的 Qwen3.5 蒸馏模型。适合想在 Mac 上用一个很小本地模型的人。
新上架
Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF
hesamation · 工具包
以四种量化大小的 GGUF 文件在你自己的机器上运行推理微调的 Qwen3.6-35B-A3B，训练数据是 Claude Opus 4.6 风格的推理数据。适合想在本地获得逐步推理回答的人。
新上架
Qwen3.5-35B-A3B-GGUF
unsloth · 工具包
在你自己的机器上读取文字和图片、编写代码并调用工具，使用 Unsloth 刷新后的 Qwen3.5 35B-A3B 视觉语言模型 GGUF 文件。适合运行本地智能体的开发者。
新上架
Z-Image-Turbo-GGUF
unsloth · 工具包
Unsloth 制作的 Z-Image-Turbo 的 GGUF 文件，这是一个快速的蒸馏文生图模型，作者称它能放进 16 GB 的消费级 GPU。适合用支持 GGUF 的工具在本地生成图像的人。
新上架
Qwen3.6-27B-MTP-GGUF
unsloth · 工具包
用 Qwen3.6 27B 写代码和推理，提供 Unsloth 制作的、带多词元预测的 GGUF 文件，卡片说回复能快约 1.5 到 2 倍，且不损失准确度。为编程智能体而做。
新上架
Qwen3.5-0.8B-MTP-GGUF
unsloth · 工具包
在 llama.cpp 里运行小型的 Qwen3.5 0.8B 视觉语言模型，借助多 token 预测加快生成，使用 Unsloth 的 GGUF 文件。适合测试推测解码的开发者。
新上架
Muse Glimmer 30B GGUF
unsloth · 工具包
在本地运行一个能读文字和图片、调用工具并在调用失败后重试的 30B 智能体模型，使用 Unsloth 的 GGUF 文件。适合在消费级硬件上构建本地智能体的开发者。
新上架
granite-4.1-8b-GGUF
unsloth · 工具包
用 IBM 的 Granite 4.1 8B 模型遵循指令、调用工具和聊天，提供 Unsloth 制作的 GGUF 文件，包含聊天模板修复。适合商业助手和会用工具的智能体。
新上架
gemma-4-31B-it-qat-GGUF
unsloth · 工具包
用 Unsloth 的 4 比特 QAT GGUF 文件运行 Google 的 Gemma 4 31B 指令模型，自带用于推测解码的草稿模型，可在 llama.cpp 中加速。适合在本地部署大型多模态模型的人。
新上架
Qwen3.5-4B-Router-1M
MaziyarPanahi · 工具包
返回校准概率的小型决策模型，判断智能体下一步该做什么以及该调用哪个工具。适合构建智能体和客服机器人的开发者。
新上架
Qwen3.5-4B-Judge-1M
MaziyarPanahi · 工具包
返回校准概率的小型裁判模型，判断回复是否有来源支撑、文本是否不安全，以及属于哪个任务或领域。适合给 AI 流程加检查的开发者。
新上架
Qwen3.8-27B-Fable-5-Coding-Distilled
khazarai · 工具包
在提出修复方案前先检查真实文件，来调试和评审代码。这是 Qwen3.8-27B 的微调版，用 195M 词元的推理轨迹训练。适合构建编程智能体的开发者。
新上架
Qwopus3.8-27B-Flash-V2-GGUF
Jackrong · 工具包
减少长时间智能体任务里被浪费的推理，是 Qwen3.8-27B 第二版 Flash 微调模型的 GGUF 版本，Python 格式更好。适合在本地跑智能体循环的人。
新上架
DavidAU 对 27B Qwen 模型的 GGUF 微调版，有可切换的指令和推理模式，以及内置的帮助系统。Hugging Face 把它列为图文转文字。供本地运行。
新上架
回答问题并读取图像，思考过程短得多。这是 DavidAU 对 27B 的 Qwen 3.8 的调优版 GGUF，目标是在保持准确度的同时减少推理 token，适合在本地运行模型的人。
新上架
Forge-1-Gemma-4-E2B
YoSaNoo · 工具包
一个从 Google 的 gemma-4-E2B 微调而来的小型文本模型，偏向写代码，以 GGUF 文件发布，可在 Ollama、LM Studio、Unsloth 或 Jan 中在自己的笔记本上运行。
新上架
Llama-3.2-1B-Instruct-GGUF
unsloth · 工具包
在笔记本上聊天、总结和回答文字问题，是 Unsloth 提供的 Meta 小型 Llama 3.2 1B Instruct 的 GGUF 副本，精度从 16 比特到 2 比特。适合开发者和学习者。
新上架
GLM-4-9B-0414-GGUF
unsloth · 工具包
用 9.4B 的 GLM-4-9B-0414 模型的 GGUF 文件生成中文和英文文本，适合想在自己电脑上运行 GLM 模型的人。
新上架
gemma-4-E2B-it-GGUF
unsloth · 工具包
Unsloth 制作的 Google DeepMind Gemma 4 E2B 指令微调模型的 GGUF 文件，接收文本和图像并输出文本，上下文为 128K。适合在笔记本和小型机器上本地运行模型的人。
新上架
gemma-3-4b-it-GGUF
unsloth · 工具包
在你自己的电脑上回答关于文字和图片的问题，是 Unsloth 打包的 Google Gemma 3 4B 指令模型的 GGUF 副本。适合想用小型本地模型的开发者和用户。
新上架
Qwen3.5-2B-GGUF
unsloth · 工具包
unsloth 制作的 Qwen3.5-2B 小型 GGUF 版本，能读图片和文字并用文字回答。适合在本地做原型、微调和研究。
新上架
MOSS-Image-SFT-GGUF
unsloth · 工具包
用压缩的 GGUF 文件在 CPU、Mac 或 GPU 上运行 MOSS-Image 文生图模型，可通过 Unsloth Studio 或 stable-diffusion.cpp 使用。适合在自己电脑上生成图片的人。
新上架
Ornith-1.5-122B-GGUF
unsloth · 工具包
在你自己的机器上运行 Ornith-1.5-122B 文本模型，由 unsloth 制作成 GGUF 文件。这是一个 122B 混合专家模型，面向单块 GPU 上的编程和智能体工作。
新上架
Qwen3.5-9B-MTP-GGUF
unsloth · 工具包
Qwen3.5 9B 的 GGUF 版本，支持在 llama.cpp 里用多词元预测做推测解码，生成更快。适合会自己构建 llama.cpp、想在本地运行这个模型的人。
新上架
Qwen3.5-0.8B-GGUF
unsloth · 工具包
unsloth 制作的 Qwen3.5-0.8B 小型 GGUF 版本，能读图片和文字并用文字回答。适合在本地做原型、微调和研究。
新上架
gpt-oss-20b-GGUF
unsloth · 工具包
在你自己的电脑上运行 OpenAI 开放权重的 gpt-oss-20b 推理模型，由 unsloth 打包成 GGUF 文件。适合想要本地模型、并能调节推理强度的开发者。
新上架
Qwen2.5-VL-7B-Instruct-GGUF
unsloth · 工具包
Unsloth 制作的 Qwen2.5-VL-7B-Instruct 的 GGUF 文件，这个视觉语言模型能读图像、图表、文档和长视频，还能输出坐标和结构化数据。适合在本地运行它的人。
新上架
gemma-4-E4B-it-GGUF
unsloth · 工具包
Google Gemma 4 E4B 指令模型的 4-bit GGUF 版本，由 Unsloth 打包，可在你自己的机器上运行。它能读取文字和图像，并用文字回答。
新上架
gemma-4-12b-it-GGUF
unsloth · 工具包
Unsloth 制作的 Google 指令微调 Gemma 4 12B 的 GGUF 量化版本，一个能读文字、图片、音频和视频并输出文字的模型，适合本地运行。
新上架
embeddinggemma-2-GGUF
unsloth · 工具包
把文字变成 768 维向量，用于设备端的搜索、检索和聚类。基础模型还支持图像、视频和音频。由 Unsloth 打包成 GGUF。
新上架
gemma-4-12B-it-qat-GGUF
unsloth · 工具包
Gemma 4 12B 的 GGUF 版本，经过量化感知训练，4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人，附带加快输出的草稿文件。
新上架
Qwen3.8-27B-NVFP4
unsloth · 工具包
Unsloth 制作的 Qwen3.8 27B 视觉语言模型的 4-bit NVFP4 副本，用 vLLM 提供服务。适合想要能读图像和视频、能在智能体工具里工作的稠密模型的开发者。
新上架