Llama-3.2-3B-Instruct-GGUF

Llama-3.2-3B-Instruct-GGUF

bartowski 用重要性矩阵为 Meta 的 Llama-3.2-3B-Instruct 制作的 GGUF 量化版本，大小约从 1.8 GB 到 6.4 GB。适合用 llama.cpp 或 LM Studio 在本地运行小型聊天模型。

由 bartowski 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 Meta 的 Llama-3.2-3B-Instruct 的 GGUF 量化版本，这是一个 3.2B 参数的聊天模型。文件由 bartowski 用 llama.cpp 和重要性矩阵制作。提供了许多量化等级，你可以按自己的内存挑选文件。

适合谁：适合想在笔记本或台式机上使用小型聊天模型、不想开云端账户的人。页面列出的语言有英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

行业 | 谁在用 | 怎么用 | 例子
本地 AI | 爱好者 | 在自己的电脑上与小型模型聊天 | 在 LM Studio 里加载一个中等大小的量化版本并提问
软件 | 开发者 | 在本地应用里运行轻量的指令模型 | 用 llama.cpp 为原型提供服务
移动与 ARM | 边缘设备开发者 | 使用为 ARM 芯片制作的量化版本 | 为支持的开发板选 ARM 优化的文件
教育 | 学生 | 研究量化如何改变大小和质量 | 在同一个提示词上比较 Q8_0 和 Q4_K_M

如果你需要长篇推理或大模型，可以跳过它。3B 模型有更大模型没有的局限。

用在哪里：

• LM Studio，模型卡点名用它来运行这些文件
• llama.cpp 和其他能读取 GGUF 的工具
• 装有 Python 的 Windows、macOS 和 Linux，用来下载

Use case | Who | What they get back
本地聊天 | 爱好者 | 来自你机器上 3B 模型的文字回复
低内存使用 | 内存很少的人 | 仍能运行的小型量化版本
ARM 设备 | 边缘设备开发者 | 为 ARM 推理调优的量化版本

如何设置：按模型卡的建议，下载一个文件，而不是整个分支。

• Python 和 Hugging Face 工具，或者 LM Studio 里的下载按钮
• 能读取 GGUF 的程序，比如 LM Studio 或 llama.cpp
• 所选量化版本需要的内存，大约从 1.8 GB 到 6.4 GB

1. 从下面的文件列表里选一个量化版本。
2. 下载那一个文件。
3. 在 LM Studio 或 llama.cpp 里打开它。
4. 使用为该模型给出的提示词格式。

pip install -U huggingface_hub
hf download bartowski/Llama-3.2-3B-Instruct-GGUF

如何使用：在 LM Studio 里加载一个文件并聊天，或者在 llama.cpp 里按下面的提示词格式运行。上面的命令会取整个仓库，所以要把它缩小到一个文件。

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

Cutting Knowledge Date: December 2023
Today Date: 26 Jul 2024

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

量化类型 | 大小和用途
f16 | 6.43 GB，完整的 F16 权重
Q8_0 | 3.42 GB，最大的量化版本，很少需要
Q6_K_L | 2.74 GB，嵌入和输出权重用 Q8_0，质量近乎完美
Q6_K | 2.64 GB，质量近乎完美，推荐
Q5_K_M | 2.32 GB，高质量，推荐
Q4_K_L | 2.11 GB，嵌入和输出权重用 Q8_0，质量良好
Q4_K_M | 2.02 GB，大多数场合的默认大小
Q4_K_S | 1.93 GB，质量略低，节省更多空间
Q4_0_4_4 | 1.92 GB，为 ARM 芯片调优，也是稳妥的 ARM 选择
Q3_K_XL | 1.91 GB，质量较低，但在低内存下可用
IQ4_XS | 1.83 GB，质量不错，比 Q4_K_S 更小

示例：你下载 Q4_K_M 文件，在 LM Studio 里打开，让它给出第一次求职面试的三条建议。模型回复一份简短的纯文字建议清单。

新手与专家：量化版本是模型的较小副本，数字用更少的比特存储。如果拿不准，就选 Q4_K_M，模型卡称它是大多数场合的默认选择。内存有富余时选 Q6_K。

名字里带 L 的量化版本把嵌入和输出权重保持为 Q8_0。针对 ARM 的 Q4_0 变体需要 sve 或 i8mm 之类的特性，而对你的芯片拿不准时选 Q4_0_4_4。模型卡称普通的 Q4_0 是旧格式。所有量化版本都使用了由模型卡链接的数据集构建的重要性矩阵。

选一个适合你内存的量化版本
下载那一个文件
在 LM Studio 或 llama.cpp 里打开
按提示词格式聊天

Title: 文件大小，单位 GB
f16: 6.43 GB
Q8_0: 3.42 GB
Q6_K: 2.64 GB
Q5_K_M: 2.32 GB
Q4_K_M: 2.02 GB
IQ4_XS: 1.83 GB

注意事项：

• 看到的文件列表被截断了，所以可能还有更多量化版本。
• 提示词格式会在系统块里设置知识截止时间和日期。
• 这个模型支持八种语言，见上文。
• License: llama3.2，页面上就是这样列的。使用前请阅读其条款。
• Cost to run: 未提及，你使用自己的硬件。
• Data it reaches: 从 Hugging Face 下载的文件，以及你给它的文字。
• Not for: 模型卡没有列出限制。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：3.2B
• Weights: about 1.6 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：190,537
• 点赞：261
• 许可证：llama3.2
• 语言：en, de, fr, it, pt, hi, es, th
• 基于：meta-llama/Llama-3.2-3B-Instruct
• Quantized versions: 4
• Fine-tunes: 1
• 标签：gguf, facebook, meta, llama, llama-3, text-generation, conversational

链接

• 模型：https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF
• 文件：https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download bartowski/Llama-3.2-3B-Instruct-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。