学习与教学 AI 技能

sched-sim

prajwalpujari16 · 工具包

一个 LLM 服务调度器的浏览器模拟器，用动画甘特图比较连续批处理、分块预填充、最短作业优先和分离式服务。适合工程师和学生。

mini-infer

prajwalpujari16 · 工具包

一个浏览器工作室，模拟 GPU 上的 PagedAttention 块分配、前缀缓存、投机解码校验和 KV 缓存估算。适合想看清 LLM 服务如何管理显存的工程师和学生。