来自 Hugging Face 的 AI 项目

mini-infer

prajwalpujari16 · 工具包

一个浏览器工作室，模拟 GPU 上的 PagedAttention 块分配、前缀缓存、投机解码校验和 KV 缓存估算。适合想看清 LLM 服务如何管理显存的工程师和学生。