svd-linear-attention-roberta-base-adasplash

svd-linear-attention-roberta-base-adasplash

用 AdaSplash 稀疏注意力的 RoBERTa Base 模型对英文文本分类，比如 SST-2 情感，用部分精度换取更低的延迟和显存占用。

由 Hooshaai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个模型从一个为 GLUE SST-2 任务调过的 RoBERTa Base 出发。它的 softmax 注意力被 NeuralOps 工具包的 AdaSplash 注意力取代，后者使用 Tsallis 1.5-entmax 投影，所以 40% 的注意力权重恰好为零。

投影层里加入了小型 rank 16 LoRA 适配器，让参数量增加 0.94%，达到 125.8M。随后的蒸馏步骤找回了替换时损失的一部分精度。

适合谁：想看看稀疏注意力对小型文本分类器有什么影响的机器学习研究人员和工程师。研究注意力机制的学生可以跟着模型卡里的实测数字学习。

行业 | 谁在用 | 怎么用 | 例子
机器学习 | 研究人员 | 在编码器模型里研究稀疏 entmax 注意力 | 把 40% 稀疏的模型和稠密 RoBERTa 比较
软件 | 关注 GPU 显存的工程师 | 试一个峰值显存更低的分类器 | 对比 712 MB 和 1,063 MB 的基线
教育 | 学生 | 学习 entmax 如何在注意力里取代 softmax | 阅读模型卡里的投影步骤

需要基线精度的人可以略过它，因为蒸馏后的模型在 SST-2 上大约低 12 个百分点。

用在哪里：

• 装有 transformers 库的 Python，如快速开始所示
• 带 NVIDIA GPU 的机器，因为模型卡的耗时数据来自 RTX 4070
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

使用场景 | 谁用 | 得到什么
预测英文文本的情感 | 开发者 | 来自稀疏注意力 RoBERTa 的类别预测
衡量稀疏注意力的取舍 | 研究人员 | 可与基线比较的精度、延迟和显存数据
给另一个 RoBERTa 加上 AdaSplash | 机器学习工程师 | 通过 replace_attention 注入了 AdaSplash 注意力的模型

如何设置：你需要一个可用的 Python 环境，装好 PyTorch 和 transformers。

• Python、PyTorch 和 transformers 库
• neuralops 包，因为快速开始会导入它，模型卡引用的版本是 1.4.3
• 如果想重复模型卡的速度数据，需要一块 NVIDIA GPU

1. 安装 huggingface_hub 包。
2. 用 hf 命令下载模型文件。
3. 用 transformers 从 roberta-base 加载分词器，并加载分类器。

pip install -U huggingface_hub
hf download Hooshaai/svd-linear-attention-roberta-base-adasplash

如何使用：快速开始从 roberta-base 加载分词器，从 Hub 加载分类器。接着展示了如何用一次调用把 AdaSplash 注入任何 RoBERTa，以及如何开始一次情感预测。注意它的代码里写的是名为 roberta-base-adasplash 的仓库，所以运行前请先在模型页核对这个名字。模型卡的代码在预测设置之后被截断了。

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer
from neuralops import replace_attention

# 1. Load tokenizer and model from Hugging Face Hub
tokenizer = AutoTokenizer.from_pretrained("roberta-base")
model = AutoModelForSequenceClassification.from_pretrained("Hooshaai/roberta-base-adasplash")

# 2. Or surgically inject AdaSplash into any RoBERTa in 1 line
base_model = AutoModelForSequenceClassification.from_pretrained("roberta-base")
adasplash_model = replace_attention(base_model, "adasplash_attention")

# 3. Predict sentiment
inputs = tokenizer("The sparse entmax projection preserves salient features with extreme precision!", return_tensors="pt")

工具 | 作用
AutoTokenizer.from_pretrained | 加载 roberta-base 的分词器
AutoModelForSequenceClassification.from_pretrained | 从 Hub 加载 RoBERTa 分类器
replace_attention | 把 AdaSplash 注意力注入 RoBERTa 模型

示例：你对一个短句，比如 "The film was a delight from start to finish."，做分词，再不计算梯度地交给模型来预测它的情感。在模型卡的 SST-2 测试里，蒸馏后的模型准确率是 82.10%，稠密基线是 94.38%。

新手与专家：可以把它看作每次看的词更少的 RoBERTa。它不是给每个词都分一点权重，而是把一部分权重设为恰好零。第一次尝试可以先加载它，再拿几句话和 roberta-base 比一比。

从底层看，1.5-entmax 把每一行注意力分数投影到单纯形边界上，从而得到恰好为零的值。投影通过二分搜索求得。编码器保留完整的感受野，被冻结的预训练权重则附加 LoRA 通路。代价是精度降低，换来更低的延迟和显存。

从 SST-2 上的 RoBERTa Base 出发
用 1.5-entmax 注意力替换 softmax
加入 rank 16 的 LoRA 适配器
用蒸馏找回精度
用稀疏注意力对文本分类

注意事项：下面的数据来自模型卡自己在 SST-2 验证集上的测试，序列长度 128，批大小 32，使用一块 RTX 4070。

Title: SST-2 准确率
稠密 RoBERTa 基线: 94.38 %
零样本 AdaSplash: 75.46 %
蒸馏后: 82.10 %

Title: GPU 峰值显存
稠密 RoBERTa 基线: 1063 MB
AdaSplash 模型: 712 MB

• 速度：推理步耗时从 25.36 ms 降到 16.68 ms，Triton 内核从 4.10 ms 降到 1.54 ms
• 稀疏度：每个编码器块里 40% 的注意力项恰好为零
• License: MIT
• Cost to run: 没有提到 API 密钥或付费服务
• Data it reaches: 你从 Hugging Face 加载的模型文件和 roberta-base 分词器，以及你要分类的文本
• Not for: 模型卡没有列出限制，但它在 SST-2 上的准确率比稠密基线低约 12 个百分点

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 框架：transformers
• 最近 30 天下载：36
• 点赞：2
• 许可证：mit
• 语言：en
• 标签：transformers, roberta, fill-mask, neuralops, adasplash, entmax, sparse-attention, subquadratic-attention, sst2, text-classification, text-embeddings-inference

链接

• 模型：https://huggingface.co/Hooshaai/svd-linear-attention-roberta-base-adasplash
• 文件：https://huggingface.co/Hooshaai/svd-linear-attention-roberta-base-adasplash/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Hooshaai/svd-linear-attention-roberta-base-adasplash

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。