Llama-3.2-1B-Instruct GGUF

Llama-3.2-1B-Instruct GGUF

Llama-3.2-1B-Instruct 的 GGUF 量化版本，这是一个支持八种语言的 1.2B 文本模型，4 位文件约 0.8 GB。适合运行微型本地模型的人。

由 bartowski 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Llama-3.2-1B-Instruct 的 GGUF 量化版本，这是一个约 1.2B 参数、经过指令微调的小型文本模型。有第三方用 llama.cpp 和重要性矩阵制作了这些文件，所以模型可以在 LM Studio 这样的本地工具里运行。4 位权重约 618 MB。

适合谁：它适合想在普通笔记本、旧电脑或小型设备上用一个极轻量聊天模型的人。Hugging Face 列出的八种语言是英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

行业 | 谁在用 | 怎么用 | 例子
业余 AI | 爱好者 | 在 LM Studio 里离线和微型模型聊天 | 快速问日常问题
软件 | 开发者 | 在轻量模型上测试提示词和应用流程 | 几秒钟检查一条系统提示词
教育 | 学生 | 观察本地语言模型的表现 | 比较两种量化大小
低内存环境 | 内存很少的人 | 运行小于 1 GB 的文件 | 在旧笔记本上用 Q4_K_M

如果你需要在难题上给出强有力的答案，可以跳过 1B 模型。

用在哪里：你在能读取 GGUF 的应用里加载一个文件。

• LM Studio，模型卡里点了它的名
• 其他基于 llama.cpp 的工具，因为这些文件是用 llama.cpp 制作的
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

场景 | 适合谁 | 得到什么
本地聊天 | 爱好者 | 你自己电脑上微型模型给出的回复
提示词测试 | 开发者 | 轻量模型的快速回答
量化比较 | 学习者 | 对大小与质量关系的直观感受

如何设置：你需要能加载 GGUF 文件的应用。这里的每个文件都不大，所以内存很少成为限制。下载其中一个文件，而不是整个仓库。

• LM Studio 或其他支持 GGUF 的应用
• 一个适合你内存的文件，模型卡的默认大小是 Q4_K_M
• Python，仅用于 Hugging Face 下载命令

1. 从表里选一个文件，比如 Q4_K_M。
2. 从仓库下载它。
3. 在你的应用里加载它，并使用下面的提示格式。

Title: 模型卡里的部分文件
量化类型 | 大小 | 用途
f16 | 2.48 GB | 完整权重
Q8_0 | 1.32 GB | 质量最高，多数人用不到这么高
Q6_K | 1.02 GB | 近乎完美的质量，推荐
Q5_K_M | 0.91 GB | 高质量，推荐
Q4_K_M | 0.81 GB | 质量良好，模型卡的默认选择
IQ4_XS | 0.74 GB | 在更小的文件里保持不错的质量

pip install -U huggingface_hub
hf download bartowski/Llama-3.2-1B-Instruct-GGUF

如何使用：加载文件，并使用下面的聊天格式，把系统提示词和你的消息填进去。大多数应用会替你套用这个格式。模型卡还列出了三个为 ARM 芯片优化的 Q4_0 文件，适合手机等设备。

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

Cutting Knowledge Date: December 2023
Today Date: 26 Jul 2024

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

示例：你在 LM Studio 里加载 Q4_K_M 文件，写一条要求回答简短的系统提示词，然后请它给出保持书桌整洁的三条建议。模型会在聊天窗口里回复一份简短的清单。

新手与专家：量化文件用更粗的方式存储模型的数字，所以文件更小，精度略低。先从 Q4_K_M 开始，如果回答或内存占用不理想，再往上或往下换大小。

对行家来说，这些量化使用了重要性矩阵，用 llama.cpp 的 b3821 版本构建。Q6_K_L、Q5_K_L、Q4_K_L 和 Q3_K_XL 把嵌入和输出权重保持在 Q8_0。三个 Q4_0 变体面向 ARM CPU。

原始模型被转换成 GGUF
重要性矩阵指导量化
写出从 f16 往下的多种大小
你下载一个适合你内存的文件
你在 LM Studio 或 llama.cpp 里加载它

注意事项：Q3 文件可以使用，但质量较低，Q4_0 文件是模型卡评价不高的旧格式。Hugging Face 列出的 Q4_K_M 文件为 0.81 GB。

Title: 各量化类型的文件大小
f16: 2.48 GB
Q8_0: 1.32 GB
Q6_K: 1.02 GB
Q5_K_M: 0.91 GB
Q4_K_M: 0.81 GB
IQ4_XS: 0.74 GB

• License: Hugging Face 上标注为 llama3.2
• Cost to run: 未提及
• Data it reaches: 你的提示词（在本地运行），以及你下载的文件
• Not for: 需要大模型的高难度推理任务，因为这个模型只有约 1.2B 参数

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：1.2B
• Weights: about 618 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：138,010
• 点赞：188
• 许可证：llama3.2
• 语言：en, de, fr, it, pt, hi, es, th
• 基于：meta-llama/Llama-3.2-1B-Instruct
• Quantized versions: 3
• 标签：gguf, facebook, meta, llama, llama-3, text-generation, conversational

链接

• 模型：https://huggingface.co/bartowski/Llama-3.2-1B-Instruct-GGUF
• 文件：https://huggingface.co/bartowski/Llama-3.2-1B-Instruct-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download bartowski/Llama-3.2-1B-Instruct-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。