mini-infer

mini-infer

一个浏览器工作室，模拟 GPU 上的 PagedAttention 块分配、前缀缓存、投机解码校验和 KV 缓存估算。适合想看清 LLM 服务如何管理显存的工程师和学生。

由 prajwalpujari16 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：mini-infer 是一个浏览器工作室，模拟 LLM 服务引擎如何在 GPU 上处理 KV 缓存。它涵盖 PagedAttention 块池分配、基于写时复制基数树的前缀缓存、投机解码校验，以及用解析方法估算 KV 缓存大小。它是静态页面，所以没有任何东西在服务器上运行。

适合谁：适合想亲眼看推理引擎内部如何管理内存、而不是只读文字的人。

Title: 谁会用这个工作室
Industry | Who uses it | How they use it | Example
ML 基础设施 | 服务工程师 | 建立对缓存内存行为的直觉 | 为几个请求逐步演示块的分配
教育 | 学生 | 学习分页注意力如何工作 | 看一张块表被逐渐填满
AI 研究 | 研究人员 | 推演前缀共享和投机解码 | 试用投机解码接受度校验器

如果你想给真实的服务引擎做基准测试，可以跳过它，因为这是一个模拟。

用在哪里：你可以在线使用，也可以在自己电脑上打开它的文件。

• 网页浏览器：Hugging Face 上这个 Space 的页面，无需安装任何东西
• Windows、macOS 或 Linux：下载后的文件，用浏览器打开
• Python：说明里提到的同名 PyPI 包

Title: 这个工作室适合做什么
Use case | Who | What they get back
学习分页注意力 | 学生 | 对块如何被分配的直观感受
探索前缀复用 | 工程师 | 对共享起始前缀的请求的模拟
估算 KV 缓存 | 规划者 | 缓存大小的解析估算

如何设置：托管的页面什么都不用装。获取文件需要 Python 和 pip。

• Python 和 pip
• 任意网页浏览器

1. 安装 huggingface_hub 包。
2. 把这个 Space 的文件下载到一个文件夹。
3. 进入这个文件夹。
4. 在网页浏览器里打开 index.html。

pip install -U huggingface_hub
hf download prajwalpujari16/mini-infer --repo-type space --local-dir mini-infer
cd mini-infer

说明里还提到一个 PyPI 包，用这条命令安装。

pip install mini-infer

如何使用：在线打开这个 Space，或者打开下载文件夹里的 index.html。然后逐个试用这些交互工具，先从块表分配器开始。

Title: 交互工具
Tool | What it does
Virtual block table allocator | 让你看到缓存块如何从池中分发出去
Copy-on-write radix prefix caching simulator | 展示多个请求如何共享相同的前缀
Speculative decoding acceptance verifier | 检查草稿 token 会如何被接受
KV-cache sizing | 用解析方法估算缓存大小

示例：你打开块表分配器，添加几个请求，看块从池中被分配出去。接着打开前缀缓存模拟器，放入两个开头相同的请求，看这个共同的开头是怎样被复用的。

新手与专家：如果你刚接触，先从块分配器开始。KV 缓存是模型为已经读过的文字保留的内存，分页把它切成块。

如果你熟悉这个领域，这个工作室对块表、用于前缀复用的写时复制基数树，以及投机解码里的接受度检查做了建模。说明里提到 Qwen2.5 0.5B Instruct 和 1.5B Instruct，以及一个服务轨迹数据集。

打开工作室
选一个要模拟的工具
调整请求和设置
观察块、前缀或接受度的变化

注意事项：这是一个模拟和解析估算的辅助工具，不是实时的服务引擎。

• 静态页面：纯 HTML 和 CSS，没有服务器代码
• 模型：这个 Space 提到 Qwen2.5 0.5B Instruct 和 Qwen2.5 1.5B Instruct
• License: apache-2
• Cost to run: 未提及
• Data it reaches: 说明里没有提到它自己的文件之外的任何东西
• Not for: 对真实的服务引擎做基准测试或运行它

Hugging Face 上的数据（2026年11月13日）

• 点赞：1
• 构建方式：static
• 许可证：apache-2.0

链接

• Space：https://huggingface.co/spaces/prajwalpujari16/mini-infer
• 文件：https://huggingface.co/spaces/prajwalpujari16/mini-infer/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。