Meta-Llama-3.1-8B-Instruct-AWQ-INT4

Meta-Llama-3.1-8B-Instruct-AWQ-INT4

以 4 位 AWQ 形式运行 Meta 的 Llama 3.1 8B Instruct 聊天模型，只需约 4 GiB 的 GPU 空闲显存来放权重。适合想要紧凑多语言聊天模型的开发者。

由 hugging-quants 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是社区制作的 Meta Llama 3.1 8B Instruct 的 4 位 AWQ 版本，即指令微调的聊天模型。量化用的是 AutoAWQ，采用 GEMM 内核、零点量化和 128 的分组大小。Meta 的原版是 BF16 版本，这个版本不是 Meta 官方发布的。

适合谁：适合想在普通 GPU 上运行 8B 聊天模型、支持多种语言，并通过 transformers 或服务栈使用它的开发者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 应用开发者 | 给产品加入本地聊天模型 | 在一块 GPU 上运行的客服助手
研究 | NLP 研究者 | 以更低的内存成本测试指令模型 | 比较 4 位输出和原版
运维 | 平台工程师 | 为内部工具部署量化模型 | 在 text-generation-inference 后面运行
教育 | 学生和教师 | 在一张显卡上试验语言模型 | 课堂上演示聊天生成

如果你没有 NVIDIA GPU，可以跳过，因为模型卡的示例会把模型放到 CUDA 上。

用在哪里：

• 使用 transformers 库的 Python，模型卡推荐这种方式
• AutoAWQ，作为备选加载器
• 带 Marlin 内核的 Text Generation Inference，通过 Docker 运行
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用例 | 谁用 | 得到什么
本地聊天 | 开发者 | 较小 GPU 上 8B 指令模型的回复
多语言对话 | 产品团队 | 用列出的语言聊天，包括德语、法语和印地语
部署服务 | 平台团队 | 优化推理服务器后面的量化模型

如何设置：先准备好这些。

• 带 pip 的 Python
• 空闲显存略多于 4 GiB 的 GPU，因为模型卡说仅加载检查点就需要这么多
• transformers、autoawq 和 accelerate 这三个包

1. 用 pip 安装这三个 Python 包。
2. 按 Hugging Face 名称加载模型，并把 AWQ 配置设为 4 位。
3. 构建聊天提示并调用 generate。

pip install -q --upgrade transformers autoawq accelerate

pip install -U huggingface_hub
hf download hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4

如何使用：用 AWQ 配置加载模型，对你的消息应用聊天模板，然后生成。模型卡的脚本设置了一条系统消息和一个用户问题，然后打印回复。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, AwqConfig

model_id = "hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4"

quantization_config = AwqConfig(
    bits=4,
    fuse_max_seq_len=512, # Note: Update this as per your use-case
    do_fuse=True,
)

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
  model_id,
  torch_dtype=torch.float16,
  low_cpu_mem_usage=True,
  device_map="auto",
  quantization_config=quantization_config
)

prompt = [
  {"role": "system", "content": "You are a helpful assistant, that responds as a pirate."},
  {"role": "user", "content": "What's Deep Learning?"},
]
inputs = tokenizer.apply_chat_template(
  prompt,
  tokenize=True,
  add_generation_prompt=True,
  return_tensors="pt",
  return_dict=True,
).to("cuda")

outputs = model.generate(**inputs, do_sample=True, max_new_tokens=256)
print(tokenizer.batch_decode(outputs[:, inputs['input_ids'].shape[1]:], skip_special_tokens=True)[0])

工具 | 作用
transformers | 模型卡推荐的加载和运行模型的方式
autoawq | 建立在 transformers 之上的备选加载器
text-generation-inference | 用 Marlin 内核提供模型服务，需要 Docker
fuse_max_seq_len | 融合长度设置，你可以按用途修改

示例：给模型一条系统消息，让它以海盗的口吻回答，然后问它深度学习是什么。它会以这种口吻写出最多 256 个新 token 的回复。由于开启了采样，每次运行措辞都会不同。

新手与专家：如果你是新手，量化就是把模型缩小，好让它放进更小的硬件。先运行一次模型卡里的 Python 脚本看看回复，再把用户问题换成你自己的。

如果你熟悉这个领域，这是 INT4 AWQ，使用 GEMM 内核和分组大小 128 的零点量化。模型卡指出 4 GiB 这个数字不含 KV 缓存和 CUDA 图，所以要留出余量。它还列出了带 Marlin 内核的 TGI，用于加快推理。

Meta 的 Llama 3.1 8B Instruct 权重
AutoAWQ 把它们量化为 INT4
你用 AwqConfig 加载
聊天模板构建提示
Generate 返回回复

注意事项：

• 语言：列出了英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语
• 来源：社区量化版本，不是 Meta 官方发布
• 内存：仅检查点就约需 4 GiB 显存，另外还要给 KV 缓存留空间
• 其他版本：其他人做过 16 个微调版本

• License: Llama 3.1 许可证，如记录所列，继承自 Meta 的模型
• Cost to run: 未提及，来源没有列出 API 密钥或付费服务，不过 TGI 方式需要 Docker 和 Hugging Face 登录
• Data it reaches: 你交给自己运行环境的提示词，来源没有提到除可选登录之外的网络或账号访问
• Not for: 没有 CUDA GPU 的机器，因为模型卡的示例是在 CUDA 上运行的

Hugging Face 上的数据（2026年11月14日）

• 任务：text generation
• 框架：transformers
• 参数量：8B
• Weights: about 32.1 GB in I32
• Formats: Safetensors
• 最近 30 天下载：319,739
• 点赞：96
• 许可证：llama3.1
• 语言：en, de, fr, it, pt, hi, es, th
• Fine-tunes: 16
• 标签：transformers, safetensors, llama, text-generation, llama-3.1, meta, autoawq, conversational, 4-bit

链接

• 模型：https://huggingface.co/hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4
• 文件：https://huggingface.co/hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。