infersize

infersize

一个浏览器工具，在你租用或购买硬件之前，估算 LLM 需要的 GPU 显存，比较 GPU，估算投机解码的延迟，并估算每百万 token 的云成本。

由 prajwalpujari16 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：infersize 是一个浏览器工具，在你投入资金之前规划 LLM 推理硬件。它估算模型需要的显存，用一个矩阵比较多块 GPU，估算投机解码的延迟，并估算每 1M token 的云成本。它是静态页面，所以没有任何东西在服务器上运行。

适合谁：适合要为语言模型选择 GPU 或云实例，并希望在决定之前先看到数字的人。

Title: 谁会用这个工具
Industry | Who uses it | How they use it | Example
ML 平台团队 | 基础设施工程师 | 下单之前先估算模型需要的 GPU | 检查 7B 模型能不能放进一块卡
创业公司 | 创始人 | 估算部署一个模型要花多少钱 | 读每 1M token 的云成本
AI 研究 | 研究人员 | 推演投机解码的延迟 | 在延迟估算器里比较不同配置

如果你需要真实硬件上的实测基准，可以跳过它，因为这个页面是用解析方式建模性能的。

用在哪里：你可以在线使用，也可以在自己电脑上打开它的文件。

• 网页浏览器：Hugging Face 上这个 Space 的页面，无需安装任何东西
• Windows、macOS 或 Linux：下载后的文件，用浏览器打开
• Python：说明里提到的同名 PyPI 包

Title: 这个工具适合做什么
Use case | Who | What they get back
估算模型所需内存 | 工程师 | 模型需要的显存估算
比较 GPU | 采购者 | 把多块 GPU 并排列出的矩阵
为云端部署做预算 | 创始人 | 每 1M token 的成本估算

如何设置：托管的页面什么都不用装。获取文件需要 Python 和 pip。

• Python 和 pip
• 任意网页浏览器

1. 安装 huggingface_hub 包。
2. 把这个 Space 的文件下载到一个文件夹。
3. 进入这个文件夹。
4. 在网页浏览器里打开 index.html。

pip install -U huggingface_hub
hf download prajwalpujari16/infersize --repo-type space --local-dir infersize
cd infersize

说明里还提到一个 PyPI 包，用这条命令安装。

pip install infersize

如何使用：在线打开这个 Space，或者打开下载文件夹里的 index.html。然后依次使用页面上的四个工具，先从显存估算开始。

Title: 页面上的四个工具
Tool | What it does
VRAM sizing | 估算一个推理配置需要的显存
Multi-GPU comparison matrix | 把多块 GPU 并排列出
Speculative decoding latency sizer | 估算投机解码的延迟
Cloud TCO estimator | 以美元为单位估算每 1M token 的云成本

示例：你选 Llama 3.1 8B，读它需要多少显存，再看比较矩阵里哪些 GPU 装得下。然后打开云成本估算器，看每 1M token 的成本。

新手与专家：如果你刚接触，先选一个模型，只读显存估算。显存是决定哪些 GPU 能跑一个模型的主要限制。

如果你熟悉这个领域，这个页面做的是解析建模，不是实测，所以把它的数字当作事前估算。它提到 Llama 3.1 8B、Qwen2.5 7B Instruct 和 DeepSeek V2.5 作为示例模型。

选择一个模型
页面用解析方法估算显存
比较 GPU 和解码延迟
读每 1M token 的云成本

注意事项：这些估算来自解析模型，所以请用你自己的测试来核对。

• 静态页面：纯 HTML 和 CSS，没有服务器代码
• 估算：说明把这种估算称为事前分析
• License: apache-2
• Cost to run: 未提及
• Data it reaches: 说明里没有提到它自己的文件之外的任何东西
• Not for: 真实硬件的实测基准

Hugging Face 上的数据（2026年11月13日）

• 点赞：1
• 构建方式：static
• 许可证：apache-2.0

链接

• Space：https://huggingface.co/spaces/prajwalpujari16/infersize
• 文件：https://huggingface.co/spaces/prajwalpujari16/infersize/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。