sched-sim

sched-sim

一个 LLM 服务调度器的浏览器模拟器，用动画甘特图比较连续批处理、分块预填充、最短作业优先和分离式服务。适合工程师和学生。

由 prajwalpujari16 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：sched-sim 是一个浏览器模拟器，展示 LLM 服务调度器如何给任务排序。页面背后是对三个概念的逐事件模拟：不停顿的批处理、被切成小块的预填充，以及一次长预填充拖住后面排队请求的情形。结果会播放成动画甘特图。它是静态页面，所以没有任何东西在服务器上运行。

适合谁：适合想看看调度选择为什么会改变请求等待时间的人。

Title: 谁会用这个模拟器
Industry | Who uses it | How they use it | Example
ML 基础设施 | 服务工程师 | 在改动系统之前比较调度策略 | 先后播放阻塞场景和分块场景
教育 | 学生 | 学习服务调度器是怎么工作的 | 看甘特图播放器逐步展示请求
AI 研究 | 研究人员 | 推演调度对延迟的影响 | 试用最短作业优先策略

如果你需要用真实流量调优在线的服务系统，可以跳过它，因为这是一个模拟。

用在哪里：你可以在线使用，也可以在自己电脑上打开它的文件。

• 网页浏览器：Hugging Face 上这个 Space 的页面，无需安装任何东西
• Windows、macOS 或 Linux：下载后的文件，用浏览器打开
• Python：说明里提到的同名 PyPI 包

Title: 这个模拟器适合做什么
Use case | Who | What they get back
看预填充阻塞 | 学生 | 一个长提示词挡住较短提示词的动画
比较策略 | 工程师 | 分块预填充、最短作业优先和分离式服务的甘特视图
教学调度 | 讲师 | 一个可以带学生一步步看的可视化

如何设置：托管的页面什么都不用装。获取文件需要 Python 和 pip。

• Python 和 pip
• 任意网页浏览器

1. 安装 huggingface_hub 包。
2. 把这个 Space 的文件下载到一个文件夹。
3. 进入这个文件夹。
4. 在网页浏览器里打开 index.html。

pip install -U huggingface_hub
hf download prajwalpujari16/sched-sim --repo-type space --local-dir sched-sim
cd sched-sim

说明里还提到一个 PyPI 包，用这条命令安装。

pip install sched-sim

如何使用：在线打开这个 Space，或者打开下载文件夹里的 index.html。然后在甘特图播放器上按播放，比较它演示的各种策略。

Title: 甘特图播放器演示的内容
Tool | What it does
Head-of-Line prefill blocking | 展示一次长预填充如何拖延它后面的请求
Chunked prefill | 把预填充切成 512 个 token 的块，即 Sarathi 的做法
Shortest-job-first | 让最短的请求先运行
Disaggregated serving | 把服务的各个阶段分到不同资源上

示例：你播放队首阻塞的场景，看短请求排在一次长预填充后面。然后播放分块预填充的场景，比较同样的请求在甘特图上是怎么排列的。

新手与专家：如果你刚接触，先从阻塞场景开始。预填充是模型读取提示词的那一步，一个很长的预填充会挡住后面的一切。

如果你熟悉这个领域，这个页面运行离散事件模拟，并比较队首阻塞、块大小为 512 个 token 的 Sarathi 式分块预填充、最短作业优先和分离式服务。它提到一个服务轨迹数据集。

打开模拟器
选一个调度策略
模拟运行这些请求
甘特图播放器把结果动画展示出来

注意事项：这是对调度的模拟，不是实时的服务引擎。

• 静态页面：纯 HTML 和 CSS，没有服务器代码
• 数据集：这个 Space 提到一个服务轨迹数据集
• License: apache-2
• Cost to run: 未提及
• Data it reaches: 说明里没有提到它自己的文件之外的任何东西
• Not for: 用真实流量调优在线的服务系统

Hugging Face 上的数据（2026年11月13日）

• 点赞：1
• 构建方式：static
• 许可证：apache-2.0

链接

• Space：https://huggingface.co/spaces/prajwalpujari16/sched-sim
• 文件：https://huggingface.co/spaces/prajwalpujari16/sched-sim/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。