QuantBench

QuantBench

一个浏览器工作室，用来探索每个权重低于一字节的 LLM 量化，有帕累托前沿探索器、BitNet 1.58b 位打包寄存器和层敏感度模拟器。适合工程师和学生。

由 prajwalpujari16 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：QuantBench 是一个浏览器工作室，用来探索每个权重低于一字节的 LLM 量化。它提供在你量化任何东西之前的解析式探索、BitNet 1.58b 三值权重的位打包寄存器，以及模拟每一层敏感度的模拟器。它是静态页面，所以没有任何东西在服务器上运行。

适合谁：适合想看看模型的权重用更少位数时，质量和大小会发生什么变化的人。

Title: 谁会用这个工作室
Industry | Who uses it | How they use it | Example
ML 工程 | 工程师 | 在量化之前权衡压缩与质量 | 探索大小与信号质量的前沿
教育 | 学生 | 学习低位权重是怎么打包的 | 看三值数据怎样填进一个寄存器
AI 研究 | 研究人员 | 推演哪些层能承受压缩 | 试用层敏感度模拟器

如果你需要量化一个真实的模型文件，可以跳过它，因为这是一个解析式探索器。

用在哪里：你可以在线使用，也可以在自己电脑上打开它的文件。

• 网页浏览器：Hugging Face 上这个 Space 的页面，无需安装任何东西
• Windows、macOS 或 Linux：下载后的文件，用浏览器打开
• Python：说明里提到的同名 PyPI 包

Title: 这个工作室适合做什么
Use case | Who | What they get back
找到压缩的权衡点 | 工程师 | 一条把压缩率对 SQNR 画出来的前沿
学习位打包 | 学生 | BitNet 1.58b、INT4 和 2:4 稀疏的实时寄存器
找出脆弱的层 | 研究人员 | 对每层敏感度的模拟

如何设置：托管的页面什么都不用装。获取文件需要 Python 和 pip。

• Python 和 pip
• 任意网页浏览器

1. 安装 huggingface_hub 包。
2. 把这个 Space 的文件下载到一个文件夹。
3. 进入这个文件夹。
4. 在网页浏览器里打开 index.html。

pip install -U huggingface_hub
hf download prajwalpujari16/quantbench --repo-type space --local-dir quantbench
cd quantbench

说明里还提到一个 PyPI 包，用这条命令安装。

pip install quantbench

如何使用：在线打开这个 Space，或者打开下载文件夹里的 index.html。然后试用三个交互工具，先从前沿探索器开始。

Title: 交互工具
Tool | What it does
SQNR against compression Pareto frontier explorer | 展示信号质量与压缩之间的权衡
Bit-packing registers | 实时展示 BitNet 1.58b、INT4 和 2:4 稀疏的打包
Transformer layer sensitivity simulator | 模拟每一层对量化的敏感程度

示例：你打开帕累托前沿探索器，看信号质量如何随压缩率上升而下降。然后打开位打包寄存器，看 BitNet 1.58b 的三值数据是怎样打包在一起的。

新手与专家：如果你刚接触，记住量化就是用更少的位数存权重来省内存。先从前沿探索器开始，慢慢沿着它移动。

如果你熟悉这个领域，这个页面把 SQNR 对压缩率的前沿，与实时打包寄存器和逐层敏感度模拟器放在一起。它提到 Qwen2.5 0.5B Instruct 和 Llama 3.1 8B，以及它自己的帕累托数据集。

打开工作室
选一个要探索的工具
调整位数、层或设置
读它显示的权衡

注意事项：这种探索是解析式的，所以不会碰真实的模型文件。

• 静态页面：纯 HTML 和 CSS，没有服务器代码
• 模型：这个 Space 提到 Qwen2.5 0.5B Instruct 和 Llama 3.1 8B
• License: apache-2
• Cost to run: 未提及
• Data it reaches: 说明里没有提到它自己的文件之外的任何东西
• Not for: 量化真实的模型文件

Hugging Face 上的数据（2026年11月13日）

• 点赞：1
• 构建方式：static
• 许可证：apache-2.0

链接

• Space：https://huggingface.co/spaces/prajwalpujari16/quantbench
• 文件：https://huggingface.co/spaces/prajwalpujari16/quantbench/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。