svd-linear-attention-roberta-base-adasplash
Hooshaai · 工具包
用 AdaSplash 稀疏注意力的 RoBERTa Base 模型对英文文本分类,比如 SST-2 情感,用部分精度换取更低的延迟和显存占用。
新上架
写代码、审代码用的提示词、编程智能体任务说明和工具包,花更少的 Token。
Hooshaai · 工具包
用 AdaSplash 稀疏注意力的 RoBERTa Base 模型对英文文本分类,比如 SST-2 情感,用部分精度换取更低的延迟和显存占用。
Hooshaai · 工具包
用 Fisher 加权 SVD 以 rank 32 把 RoBERTa Base 压缩到约 82M 参数,对英文文本分类,用部分精度换取更低的延迟和显存占用。
Hooshaai · 工具包
一个 RoBERTa Base 情感分类器,把注意力换成稀疏的 AdaSplash 版本,让 40% 的注意力权重变成零,以降低耗时和内存。适合测试高效注意力的开发者。
intfloat · 工具包
把约 100 种语言的文本变成 1024 个数字的向量,用于搜索、匹配和检索。这是 intfloat 基于 xlm-roberta-large 的 5.6 亿参数嵌入模型。