Llama-3.2-3B-Instruct-GGUF

Llama-3.2-3B-Instruct-GGUF

用 Meta 的紧凑模型 Llama 3.2 3B 指令版聊天、总结和回答问题，提供 Unsloth 制作的 GGUF 文件，从 2 位到 16 位。小到普通笔记本也能用。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Llama-3.2-3B-Instruct 的 GGUF 版本，它是 Meta 的 3.2B 参数文本模型，经过调优来遵循指令。Unsloth 制作了这些文件，大小从 2 位到 16 位都有。4-bit 权重估计约 1.6 GB。

适合谁：想在笔记本或台式机上用小型本地助手来聊天、总结和辅助检索的人。打算微调模型的开发者也会喜欢卡片指向的免费笔记本。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 给应用加上小型本地聊天模型 | 在工具里起草简短回复
教育 | 学生 | 在配置一般的笔记本上和模型聊天 | 请它用大白话解释一个主题
商务 | 小团队 | 总结笔记，并在自己的文本里查找信息 | 缩短一份很长的会议备忘录
研究 | AI 研究人员 | 用自己的数据微调紧凑模型 | 让它适应一个狭窄的任务

需要在难题上拿到顶级回答质量的人可以跳过它，因为这是个紧凑模型。

用在哪里：

• 能加载 GGUF 文件的工具，比如 llama.cpp
• Unsloth 的免费笔记本，用于微调这个模型
• 在 Windows、macOS 或 Linux 上用 Python 下载文件

Use case | Who | What they get back
聊天 | 任何人 | 一问一答对话里的书面回复
总结 | 学生和团队 | 较长文本的精简版本
智能体检索 | 开发者 | 在工具里查找和使用信息的帮助
微调 | 机器学习工程师 | 适应你自己数据的模型

如何设置：

• Python，用于 Hugging Face hub 工具
• 一个能加载 GGUF 文件的运行器
• 你选的文件所需的磁盘空间，4-bit 权重估计约 1.6 GB

1. 用 pip 安装 Hugging Face hub 工具。
2. 用 hf 命令下载文件。
3. 在你的运行器里加载一个文件。

pip install -U huggingface_hub
hf download unsloth/Llama-3.2-3B-Instruct-GGUF

如何使用：卡片给出的部分没有运行命令。在你的运行器里加载 GGUF 文件，然后和它聊天。这个模型是为多种语言的对话调优的，所以你可以提问、请它总结，或者试试检索类任务。

Tool | What it does
hf download | 把模型文件取到你的电脑上
GGUF runner | 加载文件并让你和模型聊天
Unsloth notebooks | 用于微调的免费笔记本，可导出为 GGUF

示例：你下载 4-bit 文件，在运行器里加载，然后贴进一段很长的笔记。你请它写个简短总结，模型回你几句话。

新手与专家：先用 4-bit 文件，这是大多数笔记本上最小的实用规格。如果回答显得弱，就换更大的文件。如果你想要一个用自己数据训练的模型，就用 Unsloth 合集里的笔记本。

这个模型是自回归语言模型，采用优化过的 transformer 设计。Meta 用监督微调和基于人类反馈的强化学习对它调优，目标是有帮助且安全。卡片说，指令微调版本在常见基准上胜过许多开放和闭源的聊天模型。

下载一个 GGUF 文件
在运行器里加载它
把提示词作为聊天消息发出
阅读回复

注意事项：

• Languages: 官方支持八种，其中有英语、德语、法语、西班牙语和泰语。在 Meta 的条款之内，可以通过微调加入更多语言。
• Sizes: 文件从 2 位到 16 位都有，所以你可以用质量换内存。
• Speed: 卡片说 Unsloth 笔记本微调 Llama 3.2 3B 模型快 2.4 倍，内存少用 58%。
• License: Llama 3.2 社区许可证，加上 Meta 的可接受使用政策。
• Cost to run: 未提及。按卡片所说，笔记本可以在免费的 Google Colab 上运行。
• Data it reaches: 你电脑上的文件，以及来自 Hugging Face 的模型文件。
• Not for: 违反 Meta 可接受使用政策的用途。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：3.2B
• Weights: about 1.6 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：243,788
• 点赞：93
• 许可证：llama3.2
• 语言：en
• 基于：meta-llama/Llama-3.2-3B-Instruct
• Quantized versions: 1
• Fine-tunes: 1
• 标签：transformers, gguf, llama, text-generation, llama-3, meta, facebook, unsloth, conversational

链接

• 模型：https://huggingface.co/unsloth/Llama-3.2-3B-Instruct-GGUF
• 文件：https://huggingface.co/unsloth/Llama-3.2-3B-Instruct-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/Llama-3.2-3B-Instruct-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。