LLM VRAM Calculator

LLM VRAM Calculator

估算 Hugging Face 模型在任意量化和上下文长度下需要多少显存，拆成权重、KV 缓存和额外开销，并显示哪些 GPU 容量够用。适合计划在本地运行大模型的人。

由 donaldJJ 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个静态网页，用来估算语言模型需要多少 GPU 显存。你输入一个 Hugging Face 模型 id，页面会在你的浏览器里读取模型的配置和参数量。然后它按你选的量化方式和上下文长度显示显存占用。

适合谁：适合在自己的 GPU 上运行语言模型、想在下载之前就知道模型放不放得下的人。

Industry | Who uses it | How they use it | Example
本地 AI | 只有一块 GPU 的爱好者 | 检查某个量化方式下模型能不能放下 | 爱好者在 24 GB 的显卡上测试一个 27B 模型。
机器学习工程 | 规划部署的工程师 | 估算权重、缓存和额外开销的显存 | 工程师在确定服务器规格前，先比较不同上下文长度。
模型发布 | 模型作者 | 给模型卡添加显存徽章 | 作者把徽章链接到自己的模型。
研究 | 学生 | 了解 KV 缓存如何随上下文增长 | 学生改变上下文长度，观察缓存数值的变化。

如果你需要精确的实测峰值，可以跳过它，因为页面给出的是规划用的估算值。

用在哪里：

• 网页浏览器，通过 Hugging Face 上的 Space 页面
• Windows、macOS 或 Linux 上的任意浏览器，打开下载好的 index.html

Use case | Who | What they get back
确定买多大的 GPU | 本地 AI 用户 | 够用的 GPU 容量，从 8 GB 到 96 GB
规划上下文长度 | 工程师 | 每种 GPU 容量能放下的最长上下文，最多到模型的上限
给模型卡加徽章 | 模型作者 | 页面为你载入的模型生成的显存徽章代码片段

如何设置：

• 一个能联网的网页浏览器，这样页面才能从 Hub 读取模型配置
• 公开模型不需要令牌
• Python 和 pip，仅下载这一步用到

1. 安装 huggingface_hub 包。
2. 把这个 Space 下载到名为 llm-vram-calculator 的本地文件夹。
3. 进入这个文件夹。
4. 在网页浏览器里打开 index.html。

pip install -U huggingface_hub
hf download donaldJJ/llm-vram-calculator --repo-type space --local-dir llm-vram-calculator
cd llm-vram-calculator

如何使用：打开页面，输入一个模型 id，比如 Qwen/Qwen3.8-27B，然后按 Load。接着选量化方式和上下文长度。如果页面链接末尾加上 ?model= 和一个仓库 id，页面打开时也会直接载入这个模型。

Tool | What it does
权重 | 参数量乘以每个权重的位数，再除以 8
KV 缓存 | 只计算保留缓存的层，精度可选 FP16、Q8_0 或 Q4_0
额外开销 | 加上 0.5 GiB，再加权重和缓存的 10%
GPU 适配 | 把总量和各档 GPU 容量比较，并留出 0.5 GiB

示例：你输入 Qwen/Qwen3.8-27B 并按 Load。在 Q4_K_M 和 8K 上下文下，页面显示 18.3 GiB，因为它 64 层里只有 16 层保留 KV 缓存。页面还说 24 GB 的 GPU 最多能放下 83K 上下文。

新手与专家：如果你是新手，显存就是显卡上的内存，模型必须放得进去才能顺畅运行。输入一个模型 id，看哪些 GPU 容量够用。

如果你熟悉这个领域，KV 缓存会计算全注意力层、按窗口加 512 个词元计算的窗口层，以及 MLA 的压缩潜变量。线性注意力层和状态空间层不增加缓存。每个 MoE 专家都会被计入，没有 CPU 卸载。

输入 Hugging Face 模型 id
页面在你的浏览器里读取配置
把权重、缓存和额外开销加起来
列出够用的 GPU 容量

Title: 权重估算使用的每权重位数
Q4_K_M: 4.84 bits
Q8_0: 8.5 bits
FP16: 16 bits

注意事项：

• 把结果当作粗略的参考，因为推理服务软件、CUDA 图和图像编码器可能让实际占用更高
• 权重大小是按假设的每权重位数算出来的，所以和磁盘上真实的量化文件不同
• 需要申请访问权限的模型，页面读不到，请自己输入它们的数字
• License: mit
• Cost to run: 未提及
• Data it reaches: Hugging Face Hub，用来读取模型的配置和参数量

Hugging Face 上的数据（2026年11月13日）

• 点赞：3
• 构建方式：static
• 许可证：mit

链接

• Space：https://huggingface.co/spaces/donaldJJ/llm-vram-calculator
• 文件：https://huggingface.co/spaces/donaldJJ/llm-vram-calculator/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。