svd-linear-attention-roberta-base-adasplash
Hooshaai · 工具包
用 AdaSplash 稀疏注意力的 RoBERTa Base 模型对英文文本分类,比如 SST-2 情感,用部分精度换取更低的延迟和显存占用。
新上架
Hooshaai · 工具包
用 AdaSplash 稀疏注意力的 RoBERTa Base 模型对英文文本分类,比如 SST-2 情感,用部分精度换取更低的延迟和显存占用。
Hooshaai · 工具包
一个 RoBERTa Base 情感分类器,把注意力换成稀疏的 AdaSplash 版本,让 40% 的注意力权重变成零,以降低耗时和内存。适合测试高效注意力的开发者。