mini-infer
prajwalpujari16 · 工具包
一个浏览器工作室，模拟 GPU 上的 PagedAttention 块分配、前缀缓存、投机解码校验和 KV 缓存估算。适合想看清 LLM 服务如何管理显存的工程师和学生。
新上架
学习与教学 AI 技能
按科目给你出题，或者用大白话讲清一个难懂概念的提示词。
按科目给你出题，或者用大白话讲清一个难懂概念的提示词。
prajwalpujari16 · 工具包
一个浏览器工作室，模拟 GPU 上的 PagedAttention 块分配、前缀缓存、投机解码校验和 KV 缓存估算。适合想看清 LLM 服务如何管理显存的工程师和学生。