roberta-base-adasplash

roberta-base-adasplash

一个 RoBERTa Base 情感分类器，把注意力换成稀疏的 AdaSplash 版本，让 40% 的注意力权重变成零，以降低耗时和内存。适合测试高效注意力的开发者。

由 Hooshaai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是在 GLUE SST-2 情感任务上微调的 RoBERTa Base，它的注意力层被 neuralops 库里的 AdaSplash 注意力替换了。AdaSplash 用一种稀疏投影，让一部分注意力权重恰好等于零。

模型卡报告全部 12 个编码器块里有 40% 的注意力权重为零。它通过小型 LoRA 适配器多出约 0.94% 的参数，总共约 1.258 亿个参数。

适合谁：适合想看看稀疏注意力如何改变一个熟悉的英语文本分类器的速度、内存和准确率的开发者和研究人员。它更像一个实验，而不是可以直接替换的升级版。

Industry | Who uses it | How they use it | Example
研究 | 机器学习研究人员 | 研究编码器模型里的稀疏注意力 | 在同一任务上对比稀疏和稠密注意力
软件 | 推理工程师 | 测试内存和延迟的节省 | 测量一个分类器的峰值内存
教育 | 学生 | 学习 entmax 注意力和 softmax 有什么不同 | 阅读架构说明并运行示例
产品团队 | NLP 开发者 | 试用高效的情感分类器 | 把简短的英语评论判为正面或负面

如果你需要最高的情感分类准确率，可以跳过它。模型卡显示在它的测试里，稠密基线得分更高。

用在哪里：

• 装有 Transformers、PyTorch 和 neuralops 库的 Python。
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件。
• GPU，因为模型卡的测量用的是带 Triton 内核的 NVIDIA RTX 4070。

Use case | Who | What they get back
情感分类 | 开发者 | 对英语文本的正面或负面预测
效率测试 | 工程师 | 比稠密模型更低的注意力耗时和内存
注意力替换 | 研究人员 | 一次调用就把现有 RoBERTa 转成 AdaSplash

如何设置：你需要 Python 和几个库。

• 带 torch 和 transformers 的 Python
• neuralops 库，模型卡写的是 1.4.3 版
• 要分类的英语文本
• GPU，试用示例时是可选的

1. 安装 Hugging Face 工具。
2. 下载模型文件。
3. 安装 neuralops 并运行快速入门。

pip install -U huggingface_hub
hf download Hooshaai/roberta-base-adasplash

如何使用：加载分词器和模型，对一句话分词，取最大的 logit 作为预测。你也可以一次调用就把任何 RoBERTa 转成 AdaSplash。

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer
from neuralops import replace_attention

# 1. Load tokenizer and model from Hugging Face Hub
tokenizer = AutoTokenizer.from_pretrained("roberta-base")
model = AutoModelForSequenceClassification.from_pretrained("Hooshaai/roberta-base-adasplash")

# 2. Or surgically inject AdaSplash into any RoBERTa in 1 line
base_model = AutoModelForSequenceClassification.from_pretrained("roberta-base")
adasplash_model = replace_attention(base_model, "adasplash_attention")

# 3. Predict sentiment
inputs = tokenizer("The sparse entmax projection preserves salient features with extreme precision!", return_tensors="pt")
with torch.no_grad():
    logits = model(**inputs).logits
    prediction = logits.argmax(-1).item()

Tool | What it does
AutoTokenizer | 把句子变成模型输入
AutoModelForSequenceClassification | 加载分类器并返回 logits
replace_attention | 把模型的注意力换成 AdaSplash 注意力

示例：像示例那样，给模型一句表达观点的简短英语句子。它会返回 logits，最大的那一项的序号就是预测的情感类别。

新手与专家：如果你刚接触，情感分类器读一句话，判断它听起来是正面还是负面。先对一句话跑一遍快速入门。模型卡其余部分讲的是它的注意力如何变得更高效。

对专家来说，模型用 Tsallis 1.5-entmax 代替 softmax，所以注意力权重可以恰好为零。查询、键、值和输出投影是冻结预训练权重之上的秩为 16 的 LoRA 适配器。模型卡报告稠密基线的准确率是 94.38%，零样本 AdaSplash 是 75.46%，蒸馏后是 82.10%。

从在 SST-2 上微调的 RoBERTa Base 出发
换上带 entmax 的 AdaSplash 注意力
加入秩为 16 的 LoRA 适配器
蒸馏以恢复准确率
用 40% 稀疏的注意力对文本分类

Title: 模型卡中的 SST-2 准确率
稠密基线: 94.38 %
零样本 AdaSplash: 75.46 %
蒸馏后: 82.10 %

注意事项：下面几点说明了限制和成本。

• Accuracy trade-off: 蒸馏后的模型得分低于稠密基线，不过模型卡报告在它的测试机器上推理步骤快约 1.52 倍，峰值内存少 33%。
• License: MIT。
• Cost to run: 没有提到 API 密钥或付费服务。
• Data it reads: 只有你传入的文本。下载来自 Hugging Face。
• Not for: 需要稠密模型准确率的用途，或英语以外的语言。

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 框架：transformers
• 最近 30 天下载：0
• 点赞：2
• 许可证：mit
• 语言：en
• 标签：transformers, neuralops, adasplash, entmax, sparse-attention, subquadratic-attention, roberta, sst2, text-classification

链接

• 模型：https://huggingface.co/Hooshaai/roberta-base-adasplash
• 文件：https://huggingface.co/Hooshaai/roberta-base-adasplash/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Hooshaai/roberta-base-adasplash

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。