Meta-Llama-3.1-8B-Instruct-GGUF

Meta-Llama-3.1-8B-Instruct-GGUF

Meta Llama 3.1 8B Instruct 的量化 GGUF 文件，用于本地聊天，例如 Q4_K_M 为 4.92 GB，Q8_0 为 8.54 GB。由 bartowski 用重要性矩阵制作。涵盖 8 种语言，可在 LM Studio 中运行。

由 bartowski 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Meta Llama 3.1 8B Instruct 聊天模型的 GGUF 量化版本，由 bartowski 制作。他用 llama.cpp 的 b3472 版本和一个重要性矩阵来构建，这有助于文件变小时保持质量。模型有 8B 参数，Hugging Face 列出的语言是英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。模型卡指向 LM Studio 来运行这些文件。

适合谁：如果你想在自己的电脑上和 Llama 3.1 8B 聊天，并且需要一个适合你内存的文件大小，它就适合你。

行业 | 谁在用 | 怎么用 | 例子
本地 AI | 离线运行聊天模型的人 | 在 LM Studio 里加载量化文件 | 用 4.92 GB 的 Q4_K_M 文件聊天
软件 | 测试本地模型的开发者 | 用同样的提示试几种文件大小 | 对比 Q6_K 和 Q5_K_M 的回答
研究 | 研究量化的爱好者 | 阅读模型卡里的量化类型和大小列表 | 查看每个级别文件大小是怎样下降的

如果你想要 Meta 的原始权重来做训练，可以跳过它，因为这些是为运行模型而做的压缩文件。

用在哪里：

• LM Studio，模型卡点名了它
• 其他 GGUF 运行器，例如 llama.cpp
• 装有 Python 的 Windows、macOS 和 Linux，用来下载文件

用例 | 谁 | 得到什么
本地聊天 | 爱好者 | 在自己机器上得到 8B 模型的回复
多语言提示 | 使用八种语言的用户 | 用 Hugging Face 列出的语言给出的回答
选择大小 | 内存有限的人 | 与他们手上内存相匹配的文件

如何设置：
你需要先准备：

• Python，用来使用 Hugging Face 的下载客户端
• 能放下你所选文件的磁盘空间和内存
• LM Studio 或其他 GGUF 运行器

1. 安装或更新 Hugging Face 下载客户端。
2. 从模型卡的表里选一个文件，因为模型卡说不要取整个分支。
3. 把那个文件下载到你的电脑。
4. 在运行器里加载它，并使用下面的提示格式。

pip install -U huggingface_hub
hf download bartowski/Meta-Llama-3.1-8B-Instruct-GGUF

如何使用：你在 LM Studio 里加载一个文件并和模型聊天。如果你的运行器不替你套用聊天模板，模型卡给出了这个提示格式。

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

Cutting Knowledge Date: December 2023
Today Date: 26 Jul 2024

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

工具 | 作用
Q4_K_M | 4.92 GB 的文件，模型卡称它是大多数用途的默认大小
Q6_K | 6.60 GB 的文件，质量更高
Q8_0 | 最大的量化文件，8.54 GB
Q3_K_XL | 4.78 GB 的文件，质量较低，适合内存少的情况
Q4_0_8_8 | 4.66 GB 的文件，面向 ARM 和 AVX CPU，模型卡说不要在 Mac 上用

示例：你选了 4.92 GB 的 Q4_K_M 文件并在 LM Studio 里加载。然后你用英语或西班牙语发送一条提示并阅读回复。模型卡建议大多数人用这个大小。

新手与专家：量化会缩小模型，让它能放进更少的内存，后缀表示缩小了多少。可以先试 Q4_K_M 文件，放不下的话再换大一点或小一点的。

对熟悉这个领域的读者来说，标有 L 的文件把嵌入权重和输出权重保留在 Q8_0。Q4_0_8_8 和 Q4_0_4_8 文件针对 ARM 和 AVX CPU 调优。在 ARM 上它们需要 sve 或 i8mm 支持，模型卡说在 Mac 上要避免使用。

选一个适合你内存的文件
下载那一个文件
在 LM Studio 里打开它
套用提示格式
和模型聊天

注意事项：

• 单个文件：模型卡说要下载一个文件，而不是整个分支，仓库里有很多很大的文件。
• 更新：2024 年 7 月 30 日，聊天模板修复了工具调用方面的一个小错误。
• Mac：Q4_0_8_8 和 Q4_0_4_8 文件不适合在 Mac 上使用。
• 截断：这里的文字里，文件表在 14 行之后就停了，所以更小的文件缺失。
• 数字：Hugging Face 列出 8B 参数，4 位下约 4 GB（估计值）。
• 版本：Hugging Face 列出别人做的 2 个量化版本。

Title: 各量化文件的大小，来自模型卡的表格
f32: 32.13 GB
Q8_0: 8.54 GB
Q6_K: 6.60 GB
Q5_K_M: 5.73 GB
Q4_K_M: 4.92 GB
Q3_K_XL: 4.78 GB
IQ4_NL: 4.68 GB

• License: llama3.1，Meta 为 Llama 3.1 提供的自有许可证，使用前请查看它的条款。
• Cost to run: 未提及。你需要能放下该文件的内存。
• Data it reaches: 你在自己机器上给它的提示。这里的文字没有提到联网使用。
• Not for: 在 Mac 上使用 Q4_0_8_8 和 Q4_0_4_8 文件。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：8B
• Weights: about 4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：322,920
• 点赞：433
• 许可证：llama3.1
• 语言：en, de, fr, it, pt, hi, es, th
• 基于：meta-llama/Meta-Llama-3.1-8B-Instruct
• Quantized versions: 2
• 标签：gguf, facebook, meta, pytorch, llama, llama-3, text-generation, conversational

链接

• 模型：https://huggingface.co/bartowski/Meta-Llama-3.1-8B-Instruct-GGUF
• 文件：https://huggingface.co/bartowski/Meta-Llama-3.1-8B-Instruct-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download bartowski/Meta-Llama-3.1-8B-Instruct-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。