来自 Hugging Face 的 AI 项目

LLM VRAM Calculator

donaldJJ · 工具包

估算 Hugging Face 模型在任意量化和上下文长度下需要多少显存，拆成权重、KV 缓存和额外开销，并显示哪些 GPU 容量够用。适合计划在本地运行大模型的人。