来自 Hugging Face 的 AI 项目

mSlideOn

lightonai · 工具包

把查询和文档变成可用倒排索引检索的稀疏向量，支持多种语言和长文本。这是一个 339M 参数的多语言检索模型，适合构建搜索的人。

svd-linear-attention-roberta-base-adasplash

Hooshaai · 工具包

用 AdaSplash 稀疏注意力的 RoBERTa Base 模型对英文文本分类，比如 SST-2 情感，用部分精度换取更低的延迟和显存占用。

roberta-base-adasplash

Hooshaai · 工具包

一个 RoBERTa Base 情感分类器，把注意力换成稀疏的 AdaSplash 版本，让 40% 的注意力权重变成零，以降低耗时和内存。适合测试高效注意力的开发者。

qwen-2.5-0.5b-bam-umoe-wikitext2

tahamajs · 工具包

把 Qwen2.5-0.5B 的 24 层注意力中的 18 层换成混合专家注意力块，再在 WikiText-2 上蒸馏。这是用于研究注意力改造的研究检查点，不是成品聊天模型。

Qwen3.8-27B-QSA-GSQ-RCO-GGUF

pentacoxian-dev · 工具包

在一块 24 GB 的 GPU 上，以 262K token 的上下文和图片输入运行带稀疏注意力的 Qwen3.8-27B，是 GGUF 文件，适合有定制版 llama.cpp 引擎的人。

LongCat-Flash-Lite-Sparse

meituan-longcat · 工具包

总参数 69B、每个 token 约激活 3B 的混合专家文本模型，采用稀疏注意力，支持 100 万 token 上下文。适合为编程和工具使用智能体托管长上下文模型的团队。

SPARSEUP

Linkup-Platform · 工具包

Linkup 推出的 188M 参数英文稀疏检索模型，把查询和文档变成带权重的词表用于搜索。它在 BEIR 上得 56.4 分，是 1.5 亿参数以下公开结果中最好的。

DeepSeek-V3.2

deepseek-ai · 工具包

DeepSeek 的 685B 开源推理模型，用稀疏注意力处理长上下文，聊天模板让它能一边思考一边调用工具。适合运行大模型和构建智能体的团队。

stationhouse

alxcspr · 工具包

存放 Marin-32B 的稀疏自编码器检查点、日志和特征普查文件，其中每一层都有宽度为 65536 的 TopK SAE，共 64 层。这是用于可解释性研究的档案库。

SlideOn

lightonai · 工具包

LightOn 推出的英语稀疏检索模型，把查询和文档变成稀疏向量，用于倒排索引搜索。适合做英文文本检索的搜索工程师和开发者。

LFM2.5-8B-A1B-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF

DavidAU · 工具包

LiquidAI 的稀疏混合专家模型 LFM2.5-8B-A1B 的 GGUF 版本，加入 DavidAU 的 Turbo Brilliance 系统和 12 种推理模式。8.5B 的实验性发布，供本地运行。

Qwen3.8-27B QSA BF16

higa2515 · 工具包

在 Qwen3.8-27B 上加了学习型稀疏注意力索引器的 BF16 源权重，附带参考用的 Transformers 加载器，适合研究或部署 Qwen Sparse Attention 的人。

KURE-Sparse-nano

nlpai-lab · 工具包

一个紧凑的韩英稀疏检索模型，把查询和文档变成稀疏向量，用于倒排索引搜索，适合做韩语搜索的团队。

Qwen3.8-27B-QSA-GGUF

higa2515 · 工具包

用 GGUF 文件运行带稀疏注意力的 Qwen3.8-27B，提供 Q8_0 和 Unsloth 的 Q4、Q5、Q6 混合版本，支持文字、图片和视频输入。适合使用 NVIDIA 显卡的 Linux 用户。

bge-m3

BAAI · 工具包

把 100 多种语言的文字转成向量用于搜索，从短句到 8192 词元的文档都行。一个模型同时支持稠密、多向量和稀疏检索。由 BAAI 发布。

Inkling-Small

thinkingmachines · 工具包

读取文字、图像和音频并用文字回答，面向开发助手、编程工具和智能体的开发者。这是稀疏混合专家模型，总参数 276B，每个词元激活 12B。

GLM-5.3-Flash

zai-org · 工具包

zai-org 的 GLM-5 系列原生多模态模型，总参数 320B、激活 18B，采用稀疏与线性注意力的混合设计，并能控制思考预算。适合有大型 GPU 服务器的团队。

QwenScope

Qwen · 工具包

通过稀疏自编码器特征来探索和引导 Qwen3.5-2B 语言模型：比较两段文字的特征激活，或把某个特征推入生成过程。适合可解释性研究者。