LongCat-Flash-Lite-Sparse

LongCat-Flash-Lite-Sparse

总参数 69B、每个 token 约激活 3B 的混合专家文本模型，采用稀疏注意力，支持 100 万 token 上下文。适合为编程和工具使用智能体托管长上下文模型的团队。

由 meituan-longcat 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：LongCat-Flash-Lite-Sparse 是 LongCat 团队的文本模型，总参数 690 亿，每个 token 约激活 30 亿。它不展示思考过程。它把前代的稠密注意力换成了稀疏注意力方案，并支持最长 100 万 token 的上下文窗口。

适合谁：适合自己运行大型语言模型，并关心长输入和智能体工作（比如编程和工具使用）的团队。

Industry | Who uses it | How they use it | Example
软件 | 平台工程师 | 为编程智能体托管长上下文模型 | 在一个提示里处理大型代码仓库
研究 | 模型研究人员 | 研究稀疏注意力和索引方法 | 与稠密的前代模型对比结果
企业 | AI 团队 | 在自托管模型上运行会用工具的智能体 | 在智能体循环里串联搜索和工具调用

如果你想要能在笔记本上跑的小模型，可以跳过，因为 BF16 权重超过 100 GB。

用在哪里：它面向能放下 69B 模型的服务器硬件。下载步骤可在装有 Python 的 Windows、macOS 或 Linux 上进行。

• 用来部署权重的多 GPU 服务器
• 调用自托管模型的智能体框架
• 用来获取文件的 Windows、macOS 或 Linux

Use case | Who | What they get back
智能体编程 | 开发者 | 在编程基准上比稠密前代更好的结果
长文档 | 分析师 | 容纳最长 100 万 token 的输入
工具使用和搜索 | 智能体开发者 | 模型卡测试中更强的工具使用分数

如何设置：你需要 Python、Hugging Face 工具和大量存储空间。Hugging Face 标注 BF16 约 138 GB，4 位下估计约 34.6 GB。运行方法见模型卡自己的页面。

• Python 和 Hugging Face 工具
• 约 138 GB 磁盘空间，用于 BF16 权重
• 能处理大型稀疏注意力模型的部署环境

1. 安装 Hugging Face 下载工具。
2. 把仓库文件下载到空间足够的硬盘。
3. 按模型卡来部署它。

pip install -U huggingface_hub
hf download meituan-longcat/LongCat-Flash-Lite-Sparse

如何使用：权重部署好后，像用任何聊天模型一样给它发文本提示。它为长输入和智能体任务而设计，所以可以给它整篇文档或多步工具任务。模型卡可见的部分没有给出运行命令，请按它自己的说明操作。

Tool | What it does
hf download | 把模型文件下载到你的电脑

示例：你给已部署的副本一份缺陷报告，并把大型代码库整个贴进同一条长提示。它读完全部输入，然后给出修复建议，正如智能体编程任务所需要的那样。

新手与专家：如果你是新手，这是为服务器设计的大模型，不是能在笔记本上打开的文件。先读模型卡，看看完整部署需要什么。

如果你熟悉这个领域，这种稀疏注意力建立在 DeepSeek Sparse Attention 之上，加了三种索引思路。流式感知索引保留固定的 sink 和局部窗口。跨层索引在多层之间复用一次索引结果。分层索引先给粗粒度块打分，并且可以在推理时启用而无需额外训练。

最长 100 万 token 的长输入
稀疏注意力挑出相关 token
混合专家层，激活 30 亿
文本回复或智能体动作

注意事项：开启分层索引会以部分编程分数的小幅下降为代价，换取更低的索引开销。

• License: MIT
• Cost to run: 没有提到 API 密钥、账号或付费服务，但你需要能运行 69B 模型的硬件
• Data it reaches: 从 Hugging Face 下载的文件，以及你的智能体环境允许它读取的任何内容
• Not for: 笔记本电脑，或需要可见思考模式的任务，因为它是不思考型模型

Title: SWE-Bench Verified 准确率
Dense predecessor: 54.40
Sparse without HI: 68.20
Sparse with HI: 65.20

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：LongCat-Flash-Lite-Sparse
• 参数量：69.1B
• Weights: about 138 GB in BF16; about 34.6 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,200
• 点赞：92
• 许可证：mit
• Quantized versions: 3
• Fine-tunes: 3
• 标签：longcat-flash-lite-sparse, safetensors, transformers, text-generation, conversational

链接

• 模型：https://huggingface.co/meituan-longcat/LongCat-Flash-Lite-Sparse
• 文件：https://huggingface.co/meituan-longcat/LongCat-Flash-Lite-Sparse/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download meituan-longcat/LongCat-Flash-Lite-Sparse

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。