TinyLlama-1.1B-Chat-v1.0

TinyLlama-1.1B-Chat-v1.0

以小型 1.1B 语言模型的身份用纯文本聊天，运行时占用内存很少。适合想要基于 Llama 风格基础模型的紧凑聊天模型的开发者和研究人员。

由 TinyLlama 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：TinyLlama-1.1B-Chat-v1.0 是一个拥有 11 亿参数的小型聊天模型。它是 TinyLlama 项目基础模型的聊天微调版本，该项目的目标是在 3 万亿个 token 上预训练一个 Llama 风格的模型。它沿用 Llama 2 的架构和分词器，所以适合许多为 Llama 构建的工具。

适合谁：想要一个内存需求很小的紧凑聊天模型的开发者和研究人员。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 给内存有限的应用加入一个小型聊天模型 | 在配置一般的电脑上运行聊天机器人
研究 | 研究人员 | 研究一个紧凑的 Llama 风格聊天模型 | 在 1.1B 模型上测试提示词
教育 | 学生 | 在小规模上了解聊天模型怎么工作 | 试用流水线代码并修改系统消息

如果你需要大模型的深度，可以跳过它，因为它只有 1.1B 参数。

用在哪里：

• 你自己的电脑，在 Windows、macOS 或 Linux 上用 Python 和 transformers 库
• 为 Llama 模型构建的开源工具，因为它与它们共用架构和分词器

Use case | Who | What they get back
聊天回复 | 应用开发者 | 对每条消息生成的回答
角色扮演提示词 | 爱好者 | 风格由系统消息决定的回复
小型实验 | 研究人员 | 一个用来测试想法的轻量模型

如何设置：

• 带 pip 的 Python
• transformers 库，4.34 或更高版本
• BF16 权重约 2.2 GB 磁盘空间，4-bit 约 550 MB（估算值）
• accelerate 库，模型卡的代码靠它来放置设备

1. 安装 Hugging Face hub 工具。
2. 下载模型文件。
3. 按下面所示用 transformers 流水线加载。

pip install -U huggingface_hub
hf download TinyLlama/TinyLlama-1.1B-Chat-v1.0

如何使用：构造一个包含系统消息和用户消息的列表。用模型的聊天模板把它变成提示词，再把提示词交给流水线。

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="TinyLlama/TinyLlama-1.1B-Chat-v1.0", torch_dtype=torch.bfloat16, device_map="auto")

messages = [
    {
        "role": "system",
        "content": "You are a friendly chatbot who always responds in the style of a pirate",
    },
    {"role": "user", "content": "How many helicopters can a human eat in one sitting?"},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

Tool | What it does
pipeline | 加载模型用于文本生成
apply_chat_template | 按模型期望的格式整理消息
max_new_tokens | 限制回复的最大长度

示例：你让模型以海盗的口吻回答，然后问一个傻气的问题：一个人能吃下多少架直升机。打印出的文本包含格式化后的提示词和模型的回复。模型卡没有展示回复本身。

新手与专家：如果你是新手，复制模型卡的代码运行一次，再修改系统消息，看看回复怎么变化。BF16 文件约 2.2 GB，所以首次下载要留出时间。

如果你是专家，基础模型是 TinyLlama 项目的 1.1B Llama 风格模型。这个聊天版本沿用了 Hugging Face 的 Zephyr 训练方案。它先在 UltraChat 数据集的一个变体（合成对话）上微调，再用 DPO 在 UltraFeedback 上对齐，后者是一组由 GPT-4 排序的 64k 条提示词。

你写一条系统消息和一条用户消息
聊天模板构建提示词
1.1B 模型生成回复
你读取生成的文本

注意事项：模型卡没有给出基准分数，所以请在你自己的任务上测试。别人在 Hugging Face 上发布了它的 168 个量化版本和 586 个微调版本。

• License: Apache 2.0，与 Hugging Face 记录一致。
• Cost to run: 没有提到 API 密钥或账号。配置一般的电脑就能加载它。
• Data it reaches: 下载会访问 Hugging Face。流水线只读取你传入的消息。
• Not for: 模型卡没有声称的事情。它没有给出基准结果，所以依赖答案前请自己核对。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：1.1B
• Weights: about 2.2 GB in BF16; about 550 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：963,057
• 点赞：1,910
• 许可证：apache-2.0
• 语言：en
• Quantized versions: 168
• Fine-tunes: 586
• 标签：transformers, safetensors, llama, text-generation, conversational

链接

• 模型：https://huggingface.co/TinyLlama/TinyLlama-1.1B-Chat-v1.0
• 文件：https://huggingface.co/TinyLlama/TinyLlama-1.1B-Chat-v1.0/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download TinyLlama/TinyLlama-1.1B-Chat-v1.0

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。