KVPress Leaderboard

KVPress Leaderboard

展示一个排行榜，用 Llama-3.1-8B-Instruct 和 Qwen3-8B 对比语言模型的 KV 缓存压缩方法。适合比较缩减模型所需内存方式的研究者和工程师。

由 nvidia 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：KVPress Leaderboard 是 NVIDIA 做的 Gradio 应用，用来比较 KV 缓存压缩方法。KV 缓存是语言模型生成文字时保存在内存里的内容。这个 Space 提到了两个模型，Llama-3.1-8B-Instruct 和 Qwen3-8B，仓库里有一个 benchmark 文件夹。

适合谁：运行或研究语言模型、想看看不同的 KV 缓存压缩方式表现如何的人。

Industry | Who uses it | How they use it | Example
AI 研究 | 机器学习研究者 | 在一个基准上对比压缩方法 | 一种方法与其他方法的比较
推理工程 | 服务工程师 | 寻找减少模型所需内存的办法 | 一个长上下文的工作负载
软件 | 开发者 | 阅读基准代码和 Makefile | 打开 benchmark 文件夹
教育 | 学生 | 看看模型内存占用是怎样测量的 | 一门高效推理的课程

如果你不做语言模型推理方面的工作，可以跳过它。

用在哪里：

• 网页浏览器，在 Hugging Face 上这个 Space 的页面里
• 装有 Python 的 Windows、macOS 或 Linux，用下载下来的副本

Use case | Who | What they get back
查看排行榜 | 研究者 | 压缩方法的排名
方法对比 | 工程师 | 在提到的模型上并排的结果
研究基准 | 开发者 | 可供阅读的 benchmark 文件夹和绘图脚本

如何设置：

• 你的电脑上装好 Python
• requirements.txt 里的 Python 软件包，包括 Gradio 5.19.0
• 没有提到账号或密钥

1. 安装 Hugging Face hub 软件包。
2. 用 hf 命令下载这个 Space。
3. 进入下载好的文件夹。
4. 先安装 Gradio 5.19.0，再安装依赖。
5. 启动 app.py。

pip install -U huggingface_hub
hf download nvidia/kvpress-leaderboard --repo-type space --local-dir kvpress-leaderboard
cd kvpress-leaderboard
pip install gradio==5.19.0
pip install -r requirements.txt
python app.py

如何使用：在线使用时，打开 Space 页面，在界面上查看排行榜。在自己的电脑上，用下面的命令启动应用，再使用它打开的界面。

python app.py

Tool | What it does
app.py | 启动排行榜的主 Gradio 文件
benchmark/ | 存放基准材料的文件夹
generate_static_plot.py | 生成静态图表的脚本，从名字看是这样
Makefile and pyproject.toml | 项目的构建和设置文件

示例：你打开这个 Space，看看压缩方法在提到的两个模型之一上怎样排名。来源没有展示界面，所以具体的图表和列可能不同。

新手与专家：打开 Space 页面，先读一遍排行榜。KV 缓存保存过去的注意力数据，这样模型不用重新计算，压缩它能省内存，但会在准确度上付出一些代价。

这个 Space 跑在 cpu-basic 硬件上，所以它只展示结果，不会实时运行模型。仓库很大，有 811 个文件，大多是基准材料。来源没有列出方法或分数，所以想知道细节请读 benchmark 文件夹。

基准测试在 Space 之外运行
结果保存在仓库里
应用生成排行榜
你在浏览器里查看排名

注意事项：

• Hardware: 在 Hugging Face 上跑在 cpu-basic 上，用 Gradio 5.19.0 构建
• 仓库有 811 个文件，大多是基准材料
• License: apache-2
• Cost to run: 没有提到
• Data it reaches: 仓库里保存的基准结果
• Not for: 运行提到的模型，因为这个 Space 只展示结果

Hugging Face 上的数据（2026年11月13日）

• 点赞：79
• 构建方式：gradio
• 许可证：apache-2.0

链接

• Space：https://huggingface.co/spaces/nvidia/kvpress-leaderboard
• 文件：https://huggingface.co/spaces/nvidia/kvpress-leaderboard/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。