roberta-base-fwsvd-rank32

roberta-base-fwsvd-rank32

用 Fisher 加权 SVD 以 rank 32 把 RoBERTa Base 压缩到约 82M 参数，对英文文本分类，用部分精度换取更低的延迟和显存占用。

由 Hooshaai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是用 NeuralOps 工具包以 rank 32 做 Fisher-Weighted SVD 压缩的 RoBERTa Base。它对英文文本分类，参数约 82M，而不是原来的 125M。

压缩把每个注意力投影矩阵拆成两个 rank 32 的细矩阵。之后的知识蒸馏步骤找回了一部分损失的精度。

适合谁：关心模型压缩和推理成本的机器学习工程师与研究人员。它是一个实例，展示低秩压缩在一个小型分类器上得到什么、损失什么。

行业 | 谁在用 | 怎么用 | 例子
机器学习 | 压缩研究人员 | 研究注意力层的低秩压缩 | 把 82M 模型和 125M 基线做比较
软件 | GPU 显存紧张的工程师 | 试一个更轻的文本分类器 | 对比 583 MB 峰值显存和 1,063 MB
教育 | 学生 | 学习矩阵分解如何缩小 transformer | 跟着模型卡看 rank 32 分解

需要稠密 RoBERTa Base 完整精度的人可以略过它，因为模型卡在测试里报告了明显下降。

用在哪里：

• 装有 transformers 库的 Python，如快速开始所示
• 带 NVIDIA GPU 的机器，因为模型卡的耗时数据来自 RTX 4070
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

使用场景 | 谁用 | 得到什么
对英文文本分类 | 开发者 | 来自更小更快的 RoBERTa 的类别预测
衡量压缩的取舍 | 研究人员 | 可与基线比较的精度、延迟和显存数据
对 roberta-base 做同样的压缩 | 机器学习工程师 | 用 neuralops 的 compress_model 函数做出的压缩副本

如何设置：你需要一个可用的 Python 环境，装好 PyTorch 和 transformers。

• Python、PyTorch 和 transformers 库
• neuralops 包，只在你想自己运行压缩时需要，模型卡引用的版本是 1.4.3
• 如果想重复模型卡的速度数据，需要一块 NVIDIA GPU

1. 安装 huggingface_hub 包。
2. 用 hf 命令下载模型文件。
3. 用 transformers 从 roberta-base 加载分词器，并加载这个模型。

pip install -U huggingface_hub
hf download Hooshaai/roberta-base-fwsvd-rank32

如何使用：快速开始从 roberta-base 加载分词器，从这个仓库加载压缩后的分类器。第二条路是你自己用 neuralops 压缩 roberta-base。模型卡里这条路的代码在这里被截断了，请到模型页查看。

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer
from neuralops import replace_attention, compress_model

# 1. Load tokenizer and pre-compressed model from Hugging Face Hub
tokenizer = AutoTokenizer.from_pretrained("roberta-base")
model = AutoModelForSequenceClassification.from_pretrained("Hooshaai/roberta-base-fwsvd-rank32")

工具 | 作用
AutoTokenizer.from_pretrained | 加载 roberta-base 的分词器
AutoModelForSequenceClassification.from_pretrained | 从这个仓库加载预先压缩好的分类器
compress_model | 用同样的方法在本地压缩一个基础模型

示例：你用快速开始里的两行代码加载分词器和压缩后的模型，再把一句英文放进去得到一个类别。在模型卡的 SST-2 测试里，蒸馏后它的准确率是 80.50%，稠密基线是 93.80%。

新手与专家：可以把它看作减了肥的 RoBERTa Base。它跑得更快，占的内存更少，但答错的比原版多。第一次尝试可以先加载它，再拿几句话和 roberta-base 比一比。

从底层看，每个 query、key、value 和 output 投影都被换成两个 rank 32 的因子。Fisher 加权会在做 SVD 之前，按损失对各行各列的敏感程度缩放它们。代价是在 SST-2 上损失 13.30 个百分点的准确率，换来 1.52 倍的提速。

从 RoBERTa Base 出发
以 rank 32 分解注意力矩阵
用知识蒸馏找回精度
用更小的模型对文本分类

注意事项：下面的数据来自模型卡自己在 SST-2 验证集上的测试，序列长度 128，批大小 32，使用一块 RTX 4070。

Title: SST-2 准确率
稠密 RoBERTa 基线: 93.80 %
零样本 FWSVD rank 32: 79.10 %
蒸馏后: 80.50 %

Title: GPU 峰值显存
稠密 RoBERTa 基线: 1063 MB
压缩后的模型: 583 MB

• 速度：模型卡的测试里延迟从 25.36 ms 降到 16.68 ms
• 规模：注意力投影参数从 28.31M 降到 2.36M
• License: MIT
• Cost to run: 没有提到 API 密钥或付费服务
• Data it reaches: 你从 Hugging Face 加载的模型文件和 roberta-base 分词器，以及你要分类的文本
• Not for: 模型卡没有列出限制，但它在 SST-2 上的准确率比稠密基线低 13.30 个百分点

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 框架：transformers
• 最近 30 天下载：0
• 点赞：2
• 许可证：mit
• 语言：en
• 标签：transformers, neuralops, linear-attention, subquadratic-attention, model-compression, fwsvd, roberta, sst2, text-classification

链接

• 模型：https://huggingface.co/Hooshaai/roberta-base-fwsvd-rank32
• 文件：https://huggingface.co/Hooshaai/roberta-base-fwsvd-rank32/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Hooshaai/roberta-base-fwsvd-rank32

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。