Llama-3.2-1B-Instruct-GGUF

Llama-3.2-1B-Instruct-GGUF

在笔记本上聊天、总结和回答文字问题，是 Unsloth 提供的 Meta 小型 Llama 3.2 1B Instruct 的 GGUF 副本，精度从 16 比特到 2 比特。适合开发者和学习者。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Unsloth 提供的 Meta Llama 3.2 1B Instruct 的 GGUF 副本，一个约有 1.2B 参数的小型文字模型。文件有多种精度，从 16 比特一直到 2 比特。Meta 把 Llama 3.2 指令模型调校成适合多语言对话，包括智能体式检索和总结。4 比特权重约 618 MB，为估算值。

适合谁：它适合想在普通硬件上用微型聊天模型的开发者，也适合想看看小型语言模型表现的学习者。

行业 | 使用者 | 用法 | 例子
软件 | 开发者 | 在笔记本上原型验证聊天或总结 | 在本地总结一份文档
教育 | 学生 | 对比不同精度的小模型 | 加载 2 比特和 16 比特文件并对比回复
研究 | 机器学习爱好者 | 用 Unsloth 的免费 notebook 微调 Llama 模型 | 微调一个模型，再导出为 GGUF

需要图片输入的人可以跳过，因为这个模型输入文字、输出文字。

用在哪里：

• 能读取 GGUF 格式的工具
• Windows、macOS 或 Linux，用 Python 就能下载文件
• Unsloth 的 notebook，用于微调工作

使用场景 | 谁用 | 得到什么
聊天和对话 | 开发者 | 对每条消息的书面回复
总结 | 普通用户 | 你提供的文字的缩短版本
智能体式检索步骤 | 智能体构建者 | 供更大流程使用的文字输出

如何设置：

• 装有 pip 的 Python，用于下载
• 一个能加载 GGUF 文件的运行时
• 选一个精度，从 16 比特到 2 比特

1. 安装 Hugging Face 的 hub 客户端。
2. 下载仓库里的文件。
3. 在你的 GGUF 运行时里打开你选的精度。

pip install -U huggingface_hub
hf download unsloth/Llama-3.2-1B-Instruct-GGUF

如何使用：在你的运行时里加载一个 GGUF 文件，以对话的形式向它发送消息。关于模型本身的细节，模型卡指向 Meta 的原始模型页面。

工具 | 作用
多种精度的文件 | 提供 16、8、6、5、4、3 和 2 比特文件，比特越少文件越小
Unsloth notebook | 微调模型，之后可以导出为 GGUF、vLLM 或 Hugging Face 格式

示例：你加载 4 比特文件，贴入一篇短文，再要求做个总结。模型会回复一段更短的文字。

新手与专家：1B 参数是个小模型，所以在普通电脑上就能加载。先试 4 比特文件，问一个简单问题，看看回复是什么样。

Llama 3.2 是自回归 transformer。调校后的版本用监督微调和基于人类反馈的强化学习，使模型贴近人们对有用性和安全性的偏好。官方支持八种语言，训练覆盖了更广的范围。

你发送一条消息
模型把它当作对话来读
模型写出回复
你阅读或复用这段文字

注意事项：

• 语言：官方支持八种，即英语、印地语、泰语、西班牙语、葡萄牙语、意大利语、法语和德语
• 体积：约 1.2B 参数，4 比特约 618 MB，为估算值
• License: llama3.2，使用要遵守 Llama 3.2 社区许可
• Cost to run: 未提及
• Data it reaches: 你发送的消息，未提到网络或账号访问
• Not for: 超出 Llama 3.2 社区许可及其可接受使用政策的用途

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：1.2B
• Weights: about 618 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：53,598
• 点赞：85
• 许可证：llama3.2
• 语言：en
• 基于：meta-llama/Llama-3.2-1B-Instruct
• Quantized versions: 5
• Fine-tunes: 1
• 标签：transformers, gguf, llama, text-generation, llama-3, meta, facebook, unsloth, conversational

链接

• 模型：https://huggingface.co/unsloth/Llama-3.2-1B-Instruct-GGUF
• 文件：https://huggingface.co/unsloth/Llama-3.2-1B-Instruct-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/Llama-3.2-1B-Instruct-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。