来自 Hugging Face 的 AI 项目

svd-linear-attention-roberta-base-adasplash

Hooshaai · 工具包

用 AdaSplash 稀疏注意力的 RoBERTa Base 模型对英文文本分类，比如 SST-2 情感，用部分精度换取更低的延迟和显存占用。

roberta-base-fwsvd-rank32

Hooshaai · 工具包

用 Fisher 加权 SVD 以 rank 32 把 RoBERTa Base 压缩到约 82M 参数，对英文文本分类，用部分精度换取更低的延迟和显存占用。

roberta-base-adasplash

Hooshaai · 工具包

一个 RoBERTa Base 情感分类器，把注意力换成稀疏的 AdaSplash 版本，让 40% 的注意力权重变成零，以降低耗时和内存。适合测试高效注意力的开发者。

distilbert-sst2-rpc

Hooshaai · 工具包

在 GLUE SST-2 上微调的 DistilBERT 文本分类器，换用压缩的随机投影注意力，把打分计算量减半。适合研究更快注意力的实验模型。

qwen-2.5-0.5b-block-transformer-hiba-wikitext2

tahamajs · 工具包

把 Qwen2.5-0.5B 的 24 层注意力中的 18 层换成分层块注意力算子，再在 WikiText-2 上蒸馏。这是用于研究注意力改造的研究检查点，不是成品聊天模型。

qwen-2.5-0.5b-bam-umoe-wikitext2

tahamajs · 工具包

把 Qwen2.5-0.5B 的 24 层注意力中的 18 层换成混合专家注意力块，再在 WikiText-2 上蒸馏。这是用于研究注意力改造的研究检查点，不是成品聊天模型。