Modern LLM From Scratch

Modern LLM From Scratch

一个小型的纯解码器语言模型，约 1900 万参数，从零开始写出并在 TinyStories 上训练，带一个演示页面。适合想了解小型 Transformer 如何工作的学习者。

由 Kakarot2812 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个 Space 是一个小型语言模型的演示，作者用 PyTorch 在 TinyStories 数据集上从零写出并训练了它。模型是纯解码器结构，约有 1900 万个参数。演示让你在预训练检查点和微调检查点之间选择，然后生成文本。

来源称它是一个小型的实验模型，用于学习和实验，不用于生产。

适合谁：适合想阅读小型现代 Transformer 的代码并亲手试一试的学生和好奇的开发者。

行业 | 使用者 | 使用方式 | 例子
教育 | 学生 | 阅读模型代码，学习纯解码器 Transformer 是怎么搭起来的 | 学生把 model.py 和 layers.py 对照着读
机器学习 | 机器学习从业者 | 研究 GPT-2 风格设置与现代设置的对比 | 从业者阅读共享权重变体的消融结果
教学 | 讲师 | 演示 KV 缓存对生成速度的影响 | 讲师指着两个吞吐量数字讲解
爱好者 | 动手玩家 | 在一个很小的模型上试验采样设置 | 玩家调高温度，看看有什么变化

如果你需要一个能遵循通用指令或写出可靠文本的模型，可以跳过它。

用在哪里：你可以在下面这些地方使用它。

• 网页浏览器，打开 Hugging Face 上这个 Space 的页面
• Windows、macOS 或 Linux 上的本地副本，需要 Python 3.12

使用场景 | 适合谁 | 得到什么
生成故事文本 | 任何人 | 预训练检查点对你的提示词的续写
试用微调检查点 | 学习者 | 根据一条固定的儿童故事指令写出的文本
阅读代码 | 开发者 | 一个小型 Transformer 的模型、层和配置文件

如何设置：在线使用只需要浏览器。本地副本需要 Python 3.12 和 pip。

• 网页浏览器，用于在线页面
• 带 pip 的 Python 3.12，用于本地副本
• requirements.txt 里的 Python 软件包

1. 打开 Hugging Face 上这个 Space 的页面即可在线使用，无需安装任何东西。
2. 想要本地副本，先安装 Hugging Face Hub 软件包。
3. 把这个 Space 的文件下载到一个文件夹并进入该文件夹。检查点会随文件一起下载。
4. 安装 Gradio 6.31.0 和 requirements.txt 里的软件包。
5. 启动应用。

pip install -U huggingface_hub
hf download Kakarot2812/modern-llm-from-scratch --repo-type space --local-dir modern-llm-from-scratch
cd modern-llm-from-scratch
pip install gradio==6.31.0
pip install -r requirements.txt
python app.py

如何使用：启动应用，打开它提供的页面。选一个检查点，然后调整采样设置并生成文本。

python app.py

工具 | 作用
预训练检查点 | 接受自定义的文本提示词并继续写下去
SFT 微调检查点 | 使用一条固定的儿童故事写作指令
温度、top-k 和 top-p | 改变生成文本的多样程度

示例：你选预训练检查点，输入一个短故事的开头，保持默认的采样设置。模型会用儿童故事的风格往下写。正如来源提醒的，它可能重复自己或者跑题。

新手与专家：语言模型就是一遍又一遍地预测下一个词片段。这个模型很小，学的是简单的儿童故事，所以它的文字很朴素，有时会东拉西扯。先试预训练检查点，并比较低温度和高温度的效果。

从底层看，模型有 6 层、隐藏维度 256、8 个注意力头和 512 个词元的上下文。它使用 RoPE、RMSNorm、SwiGLU、共享的嵌入权重和 KV 缓存，词表是 GPT-2 的 50,257 个词元。预训练跑了 6,000 步，验证损失达到 1.8875。微调检查点在一条固定指令上又跑了 600 步，所以它是一个实验，而不是通用的指令遵循。

选一个检查点并输入提示词
文本用 GPT-2 词表切分
六层 Transformer 预测下一个词元
温度、top-k 和 top-p 决定选哪个词元
生成的文本出现

注意事项：来源报告的是它自己的数字，并说这些数字取决于硬件和工作负载。

Title: 有无 KV 缓存时的生成速度
没有 KV 缓存: 143.69 tokens/sec
有 KV 缓存: 292.49 tokens/sec

Title: 架构对比中的验证损失，越低越好
GPT-2 基线: 3.0835 loss
现代版，不共享权重: 2.7809 loss
现代版，共享权重: 2.8413 loss

• 限制：输出可能反复绕圈、不太通顺或提前中断，文本质量指标也部分依赖经验规则。
• 这个对比没有把每个架构部件单独隔离出来，在那次测试里，权重共享减少了参数量。
• 用 Python、PyTorch、tiktoken 和 Gradio 构建，数据集是 TinyStories。
• License: MIT。
• Cost to run: 未提及。这个 Space 使用 Hugging Face 的 zero-a10g 硬件。
• Data it reaches: 你输入的提示词。检查点是仓库里的文件。
• Not for: 生产使用或通用指令遵循，正如来源所说。

Hugging Face 上的数据（2026年11月13日）

• 点赞：1
• 构建方式：gradio
• 许可证：mit

链接

• Space：https://huggingface.co/spaces/Kakarot2812/modern-llm-from-scratch
• 文件：https://huggingface.co/spaces/Kakarot2812/modern-llm-from-scratch/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。