Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
在浏览器里运行的静态页面,估算一个 GGUF 模型需要多少显存。适合想选一个能装进自己显卡的量化模型的人。
GGUF Model VRAM Calculator 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download DavidAU/GGUF-Model-VRAM-Calculator --repo-type space --local-dir GGUF-Model-VRAM-Calculator cd GGUF-Model-VRAM-Calculator
这是 Hugging Face Spaces 上的一个静态网页,用来算出一个 GGUF 模型需要多少显存。它是 NyxKrage 早先那个计算器的副本,由 DavidAU 改编。你在浏览器里打开就能用,不用安装任何东西。来源没有列出它的输入项。
它适合在自己的显卡上运行语言模型的人,想在下载大文件之前先看看装不装得下。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 本地 AI | 爱好者 | 下载之前先看量化模型能不能装进自己的显卡 | 查一个 7B 模型需要多少显存 |
| IT 与硬件 | 为机器选型的工程师 | 在规划买显卡时比较各个模型的显存需求 | 并排比较两个模型的大小 |
| 教育 | 学习量化的学生 | 看模型大小和显存占用有什么关系 | 试几个模型并记下差别 |
如果你需要真实运行测出的数字,可以跳过它,因为计算器给出的是估算值。
| Use case | Who | What they get back |
|---|---|---|
| 估算模型大小 | 本地模型用户 | 一个 GGUF 文件所需显存的估算值 |
| 规划硬件 | 工程师 | 一种在购买之前比较显存需求的方法 |
| 阅读页面 | 网页开发者 | 一个只有 HTML 文件和样式表的小型静态项目 |
在线版本什么都不用准备。要把文件保存到自己的电脑上,你需要下面这些。
pip install -U huggingface_hub hf download DavidAU/GGUF-Model-VRAM-Calculator --repo-type space --local-dir GGUF-Model-VRAM-Calculator cd GGUF-Model-VRAM-Calculator
打开这个 Space 的页面,或者从你的副本里加载 index.html,然后填入你正在考虑的模型的详细信息。来源没有描述这些字段,所以请照着页面上的标签操作,再看它给出的估算值。
你在为一张显存有限的显卡,挑选一个 7B 模型的两个量化版本。你依次输入每一个的详细信息,再比较页面给出的两个估算值。来源没有说它要填哪些字段。
如果你是新手,GGUF 文件是一种打包好的语言模型,在你自己的机器上运行,加载时需要显存。打开页面,试试这个 Space 列出的模型 Starling-LM-7B-beta,看看估算值长什么样。
如果你熟悉这个领域,仓库里只有一个 HTML 文件和两个样式表,所以计算很可能在你的浏览器里完成,不需要服务器。来源没有说它统计了哪些因素,所以任何结果都请对照你自己的加载情况核对。
来源很简短,所以这里没有记录这个计算器统计了什么。
在浏览器里运行的静态页面,估算一个 GGUF 模型需要多少显存。适合想选一个能装进自己显卡的量化模型的人。
由 DavidAU 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的,应用自己的文件和许可证在 Hugging Face 上。
它是什么:这是 Hugging Face Spaces 上的一个静态网页,用来算出一个 GGUF 模型需要多少显存。它是 NyxKrage 早先那个计算器的副本,由 DavidAU 改编。你在浏览器里打开就能用,不用安装任何东西。来源没有列出它的输入项。
适合谁:它适合在自己的显卡上运行语言模型的人,想在下载大文件之前先看看装不装得下。
Industry | Who uses it | How they use it | Example
本地 AI | 爱好者 | 下载之前先看量化模型能不能装进自己的显卡 | 查一个 7B 模型需要多少显存
IT 与硬件 | 为机器选型的工程师 | 在规划买显卡时比较各个模型的显存需求 | 并排比较两个模型的大小
教育 | 学习量化的学生 | 看模型大小和显存占用有什么关系 | 试几个模型并记下差别
如果你需要真实运行测出的数字,可以跳过它,因为计算器给出的是估算值。
用在哪里:
Use case | Who | What they get back
估算模型大小 | 本地模型用户 | 一个 GGUF 文件所需显存的估算值
规划硬件 | 工程师 | 一种在购买之前比较显存需求的方法
阅读页面 | 网页开发者 | 一个只有 HTML 文件和样式表的小型静态项目
如何设置:在线版本什么都不用准备。要把文件保存到自己的电脑上,你需要下面这些。
pip install -U huggingface_hub
hf download DavidAU/GGUF-Model-VRAM-Calculator --repo-type space --local-dir GGUF-Model-VRAM-Calculator
cd GGUF-Model-VRAM-Calculator
如何使用:打开这个 Space 的页面,或者从你的副本里加载 index.html,然后填入你正在考虑的模型的详细信息。来源没有描述这些字段,所以请照着页面上的标签操作,再看它给出的估算值。
示例:你在为一张显存有限的显卡,挑选一个 7B 模型的两个量化版本。你依次输入每一个的详细信息,再比较页面给出的两个估算值。来源没有说它要填哪些字段。
新手与专家:如果你是新手,GGUF 文件是一种打包好的语言模型,在你自己的机器上运行,加载时需要显存。打开页面,试试这个 Space 列出的模型 Starling-LM-7B-beta,看看估算值长什么样。
如果你熟悉这个领域,仓库里只有一个 HTML 文件和两个样式表,所以计算很可能在你的浏览器里完成,不需要服务器。来源没有说它统计了哪些因素,所以任何结果都请对照你自己的加载情况核对。
你打开页面
你输入模型的详细信息
页面算出所需显存
你读到估算值
注意事项:来源很简短,所以这里没有记录这个计算器统计了什么。
在浏览器里打开这个 Space,或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。
README.md 4 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face Space。
| 产品 | 点赞 | 构建方式 | 许可证 | 最近更新 |
|---|---|---|---|---|
| GGUF Model VRAM Calculator 本页 | 100 | static | mit | |
| InferenceSupport共有 static | 764 | static | afl-3.0 | |
| Huggy共有 static | 463 | static | cc-by-nc-sa-4.0 | |
| Z-Image Lookalike LoRA Index共有 static | 189 | static | apache-2.0 | |
| Granite Docling 258M WebGPU共有 static | 163 | static | apache-2.0 | |
| DINOv3 Web共有 static | 162 | static | apache-2.0 |
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。