svd-linear-attention-roberta-base-adasplash
Hooshaai · 工具包
用 AdaSplash 稀疏注意力的 RoBERTa Base 模型对英文文本分类,比如 SST-2 情感,用部分精度换取更低的延迟和显存占用。
新上架
Hooshaai · 工具包
用 AdaSplash 稀疏注意力的 RoBERTa Base 模型对英文文本分类,比如 SST-2 情感,用部分精度换取更低的延迟和显存占用。
Hooshaai · 工具包
用 Fisher 加权 SVD 以 rank 32 把 RoBERTa Base 压缩到约 82M 参数,对英文文本分类,用部分精度换取更低的延迟和显存占用。
ai-sage · 工具包
用于俄语和英语的对话、代码、推理和工具调用文本生成。这是一个 432B 的混合专家模型,激活参数 28B,适合能自行部署大模型的团队。