Local Llm Vram Calculator

Local Llm Vram Calculator

估算语言模型需要的 GPU 显存：权重、KV cache 和总显存。适合在自己的显卡上运行模型、想先确认能否放得下的人。

由 abdulrahmanmaslmany 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Local Llm Vram Calculator 用来估算语言模型在你自己的机器上运行需要多少 GPU 显存。它会算出模型权重、KV cache 和总显存各需要多少。整个应用就是一个 Python 文件 app.py。

适合谁：在自己的 GPU 上运行语言模型、想在下载前确认模型放得下的人，以及为模型估算硬件的开发者。

Industry | Who uses it | How they use it | Example
本地 AI | 爱好者 | 检查模型能否装进自己的显卡 | 下载之前先查一下模型需要的显存
软件 | 开发者 | 为要部署的模型规划 GPU 显存 | 比较权重和 KV cache 各占总量的多少
IT | 基础设施团队 | 为语言模型估算硬件 | 估算计划中的模型需要哪种显卡

如果你只用托管的模型，可以跳过它，因为你不需要自己管理显存。

用在哪里：

• 网页浏览器，在 Hugging Face 上这个 Space 自己的页面里
• 在你自己的电脑上运行副本，用 Windows、macOS 或 Linux 上的 Python 3.12

Use case | Who | What they get back
检查模型是否放得下 | 本地 AI 用户 | 权重、KV cache 和总显存的估算
规划硬件 | 开发者和 IT 团队 | 可以和 GPU 对照的显存数字

如何设置：

• 浏览器，如果你只在线使用这个 Space
• Python 3.12 和 pip，如果你自己运行副本

1. 打开 Hugging Face 上这个 Space 的页面即可在线使用，不用安装任何东西。
2. 想在本地运行，先安装 huggingface_hub 包，再下载这个 Space 的文件。
3. 进入新文件夹并安装 Gradio。仓库里没有依赖文件。
4. 用 python 启动应用。

pip install -U huggingface_hub
hf download abdulrahmanmaslmany/local-llm-vram-calculator --repo-type space --local-dir local-llm-vram-calculator
cd local-llm-vram-calculator
pip install gradio==6.30.0

如何使用：打开这个 Space 的页面，输入你打算运行的模型的详细信息，然后读它给出的显存估算。来源没有列出输入字段，页面上会显示。在自己的电脑上，先启动应用，再打开它提供的页面。

python app.py

Tool | What it does
python app.py | 在你自己的电脑上启动计算器

示例：你输入想在本地运行的模型的详细信息。页面会返回它的权重需要的显存、KV cache 占用的显存，以及你应该预期用到的总显存。

新手与专家：如果你是新手，显存就是显卡上的内存。先打开这个 Space，试一个你熟悉的模型，再把结果和你的显卡对照。

对专家来说，这个应用把权重和 KV cache 分开算，后者随上下文长度增长，往往是让模型超出显卡上限的原因。仓库只有 README.md 和 app.py，固定使用 Gradio 6.30.0。

打开 Space 或运行 app.py
输入模型的详细信息
应用计算权重和 KV cache
把它们加成显存总量
估算结果显示在页面上

注意事项：

• 使用 Gradio 6.30.0 和 Python 3.12 构建，主文件是 app.py
• License: mit
• Cost to run: 未提及
• Data it reaches: 未提及
• 实际使用可能与任何估算不同，所以请留出一些富余的显存

Hugging Face 上的数据（2026年11月13日）

• 点赞：1
• 构建方式：gradio
• 许可证：mit

链接

• Space：https://huggingface.co/spaces/abdulrahmanmaslmany/local-llm-vram-calculator
• 文件：https://huggingface.co/spaces/abdulrahmanmaslmany/local-llm-vram-calculator/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。