学习与教学 AI 技能

mini-infer

prajwalpujari16 · 工具包

一个浏览器工作室，模拟 GPU 上的 PagedAttention 块分配、前缀缓存、投机解码校验和 KV 缓存估算。适合想看清 LLM 服务如何管理显存的工程师和学生。

Attention Visualization

webml-community · 工具包

展示 Vision Transformer 如何把注意力放在图像的各个部分，是一个在浏览器里运行的静态网页。它是 transformers.js 示例项目之一。

Build a Large Language Model 从零构建大模型

rasbt · 工具包

Sebastian Raschka 所著那本书的官方代码，教你用 PyTorch 一章一章搭出一个类 GPT 的大语言模型。笔记本涵盖文本数据、注意力、预训练和微调。安装说明涵盖 uv、pixi、Conda、Docker、Lightning 和 Colab。