GPT-2

GPT-2

用最小的 GPT-2 模型根据提示词生成英文文本，它经过预训练，学习预测下一个词。适合想运行或微调小型基础模型的学习者、研究人员和开发者。

由 openai-community 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：GPT-2 是在大量英文文本上预训练的语言模型，训练目标只有一个：预测下一个词。这是 GPT-2 中最小的版本。你给它一个提示词，它就接着往下写，也可以为自己的任务对它做微调。

适合谁：想要一个小型、广为人知的基础模型来做文本生成、特征提取或微调的学生、研究人员和开发者。

Industry | Who uses it | How they use it | Example
教育 | 学生 | 了解语言模型如何生成文本 | 运行 pipeline 示例并阅读输出
研究 | NLP 研究人员 | 把它当作微调或偏见研究的基线 | 在一小批文本上微调它
软件 | 开发者 | 为文本生成功能做原型 | 在应用里接着写一个简短的提示词

如果你需要真实或可以放心发布的回答，可以跳过它，因为卡片提醒不要这样用。

用在哪里：

• 使用 transformers 库的 Python，可用 PyTorch 或 TensorFlow
• Windows、macOS 或 Linux
• 用于快速测试的文本生成 pipeline

Use case | Who | What they get back
文本续写 | 学习者 | 一个提示词的多个续写
特征提取 | 研究人员 | 给定文本的隐藏特征
微调基础 | 开发者 | 做特定任务模型的起点

如何设置：

• 带 pip 的 Python
• transformers 库，加上 PyTorch 或 TensorFlow
• 内存要求不高，因为 F32 权重约 548 MB

1. 安装 Hugging Face hub 包。
2. 下载模型，或让 transformers 的 pipeline 按名称自动获取。
3. 运行 pipeline 示例。

pip install -U huggingface_hub
hf download openai-community/gpt2

如何使用：使用文本生成 pipeline。生成带有一定随机性，所以卡片设置了随机种子，让输出可以重复。

>>> from transformers import pipeline, set_seed
>>> generator = pipeline('text-generation', model='gpt2')
>>> set_seed(42)
>>> generator("Hello, I'm a language model,", max_length=30, num_return_sequences=5)

Tool | What it does
pipeline | 用几行代码运行文本生成
set_seed | 让随机输出可以重复
GPT2Tokenizer and GPT2Model | 在 PyTorch 里给出一段文本的特征

示例：你开头写一句像语言模型打招呼的话，要求 5 个最长 30 个词元的续写。你会得到五个不同的补全，因为有随机性，每个都不一样。

新手与专家：如果你是新手，运行 pipeline 示例，再改一改提示词。预期会得到流畅但有时古怪的文本。

模型根据前面的词元预测每一个词元，并用内部掩码保证第 i 个词元只能看到第 1 到第 i 个。它的训练目标是把同一段文本向右移动一个词元。它学到了一种英语的内部表示，可以复用于其他任务，不过最擅长的还是根据提示词生成文本。

原始英文文本
目标是移动一个词元后的文本
掩码隐藏未来的词元
模型学会预测下一个词元
你给提示词让它续写

注意事项：

• Hugging Face 列出的参数量约为 137M，卡片称这是最小的 GPT-2
• 训练数据没有公开，其中含有大量未经过滤的互联网内容
• 模型分不清事实和虚构，所以它的文本可能是错的或带偏见
• License: MIT
• Cost to run: 没有列出费用
• Data it reaches: 你的提示词，以及从 Hugging Face 下载的文件
• Not for: 需要文本真实的用途，或在研究其偏见之前就放进与人交互的系统

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：137M
• Weights: about 548 MB in F32; about 69 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：32,892,223
• 点赞：3,932
• 许可证：mit
• 语言：en
• Quantized versions: 99
• Fine-tunes: 2,354
• 标签：transformers, pytorch, tflite, rust, onnx, safetensors, gpt2, text-generation, exbert

链接

• 模型：https://huggingface.co/openai-community/gpt2
• 文件：https://huggingface.co/openai-community/gpt2/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download openai-community/gpt2

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。