浏览 AI 技能、智能体和自动化

ReFoCo

yuji-nozawa · 工具包

一篇研究论文的三种规模的预训练视觉 Transformer 检查点，论文研究如何训练注意力头去关注图像区域。适合提取图像特征和复现论文的研究人员。

Spark-X2.5-4B

XHToken · 工具包

一个紧凑的 4.1B 通用语言模型，原生支持 1M token 上下文和 200 多种语言，采用混合注意力设计，针对编码和智能体使用调校。适合想要小型开放模型的开发者。

KLM 1.5

MinimaLabs · 工具包

一个 99M 参数的基础语言模型，从零开始在 100B token 上训练，采用混合注意力设计。适合想运行、研究或微调一个极小开放模型的研究人员和爱好者。

svd-linear-attention-roberta-base-adasplash

Hooshaai · 工具包

用 AdaSplash 稀疏注意力的 RoBERTa Base 模型对英文文本分类，比如 SST-2 情感，用部分精度换取更低的延迟和显存占用。

roberta-base-adasplash

Hooshaai · 工具包

一个 RoBERTa Base 情感分类器，把注意力换成稀疏的 AdaSplash 版本，让 40% 的注意力权重变成零，以降低耗时和内存。适合测试高效注意力的开发者。

distilbert-sst2-rpc

Hooshaai · 工具包

在 GLUE SST-2 上微调的 DistilBERT 文本分类器，换用压缩的随机投影注意力，把打分计算量减半。适合研究更快注意力的实验模型。

qwen-2.5-0.5b-block-transformer-hiba-wikitext2

tahamajs · 工具包

把 Qwen2.5-0.5B 的 24 层注意力中的 18 层换成分层块注意力算子，再在 WikiText-2 上蒸馏。这是用于研究注意力改造的研究检查点，不是成品聊天模型。

qwen-2.5-0.5b-bam-umoe-wikitext2

tahamajs · 工具包

把 Qwen2.5-0.5B 的 24 层注意力中的 18 层换成混合专家注意力块，再在 WikiText-2 上蒸馏。这是用于研究注意力改造的研究检查点，不是成品聊天模型。

Qwen3.8-27B-QSA-GSQ-RCO-GGUF

pentacoxian-dev · 工具包

在一块 24 GB 的 GPU 上，以 262K token 的上下文和图片输入运行带稀疏注意力的 Qwen3.8-27B，是 GGUF 文件，适合有定制版 llama.cpp 引擎的人。

LongCat-Flash-Lite-Sparse

meituan-longcat · 工具包

总参数 69B、每个 token 约激活 3B 的混合专家文本模型，采用稀疏注意力，支持 100 万 token 上下文。适合为编程和工具使用智能体托管长上下文模型的团队。

DeepSeek-V3.2

deepseek-ai · 工具包

DeepSeek 的 685B 开源推理模型，用稀疏注意力处理长上下文，聊天模板让它能一边思考一边调用工具。适合运行大模型和构建智能体的团队。

GLM-5.3-Flash-BF16

zai-org · 工具包

一个 320B 参数、激活 18B 的多模态模型，能读文字和图像，思考预算可调，用混合注意力设计处理长上下文。适合有像样 GPU 基础设施的团队。

ARLoop-0.6B

osunlp · 工具包

把文本接着往下写，是带注意力残差的小型预训练循环 Transformer。这是基础模型，适合想在其上继续做中期训练或后训练的研究人员。

Augmenting CNNs with attention-based aggregation

keras-io · 工具包

在 Gradio 页面里用在 ImageNette 上训练的、带注意力聚合的 CNN，显示图像分类器决定背后的注意力图，适合机器学习学习者和研究人员。

ARLoop-1.2B

osunlp · 工具包

osunlp 推出的开放 1.2B 基础语言模型，是带注意力残差的循环 Transformer，附带一次 500B token 训练的检查点。适用于文本补全和进一步训练。

Qwen3.8-27B QSA BF16

higa2515 · 工具包

在 Qwen3.8-27B 上加了学习型稀疏注意力索引器的 BF16 源权重，附带参考用的 Transformers 加载器，适合研究或部署 Qwen Sparse Attention 的人。

Qwen3.8-27B-QSA-GGUF

higa2515 · 工具包

用 GGUF 文件运行带稀疏注意力的 Qwen3.8-27B，提供 Q8_0 和 Unsloth 的 Q4、Q5、Q6 混合版本，支持文字、图片和视频输入。适合使用 NVIDIA 显卡的 Linux 用户。

Unlimited-OCR-2

baidu · 工具包

百度的 3.3B 文档解析模型，面向长文档，用 SR-SWA 注意力让解码成本几乎保持不变，提供 Transformers 和 SGLang 两条使用路线。适合要把长报告和书籍数字化的团队。

GLM-5.3-Flash

zai-org · 工具包

zai-org 的 GLM-5 系列原生多模态模型，总参数 320B、激活 18B，采用稀疏与线性注意力的混合设计，并能控制思考预算。适合有大型 GPU 服务器的团队。

mini-infer

prajwalpujari16 · 工具包

一个浏览器工作室，模拟 GPU 上的 PagedAttention 块分配、前缀缓存、投机解码校验和 KV 缓存估算。适合想看清 LLM 服务如何管理显存的工程师和学生。