Ling-3.1-flash

Ling-3.1-flash

处理复杂的智能体、搜索、办公和编程工作，总参数 560B，激活参数 25B，上下文 1M token。服务示例使用多 GPU 服务器上的 SGLang，权重以 MIT 许可开放。

由 inclusionAI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Ling-3.1-flash 是 inclusionAI 的升级版混合推理模型，面向要求很高的实际工作。它总共有 560B 参数，每个 token 使用其中的 25B，上下文长度为 1M token。它在架构上，以及通用智能体、搜索、办公效率和软件工程等任务上，都比 Ling-3.0-flash 有所提升。

适合谁：它适合有多 GPU 服务器、想要一个开放模型来做编程智能体、办公自动化和工具调用的团队。

行业 | 谁在用 | 怎么用 | 例子
软件工程 | 运行编程智能体的团队 | 把模型放在智能体工具后面提供服务 | 让 Claude Code 或 Kilo Code 指向部署好的模型
办公效率 | 自动化办公工作的团队 | 让模型借助工具处理多步任务 | 运行一个需要多次工具调用的办公任务
医疗和金融研究 | 这些领域的研究者 | 用领域问题测试模型 | 试试模型卡里医疗和金融基准测试的题目

如果你没有多 GPU 服务器，可以略过它，因为就算是 4 位权重也有约 286 GB。

用在哪里：

• SGLang，模型卡推荐的方式，通过支持这个模型的 Docker 镜像
• vLLM，模型卡也介绍了它
• Claude Code 和 Kilo Code 这类智能体工具，模型卡说模型在这些工具里表现不错，在 Hermes Agent 和 OpenClaw 里也是如此
• 模型卡链接的 ModelScope 和 OpenRouter 页面
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用途 | 谁用 | 能得到什么
编程智能体 | 开发者 | 对长时间编程任务和终端工具使用的帮助
搜索和研究智能体 | 智能体开发者 | 途中会调用工具的多步答案
领域问题 | 分析师 | STEM、医疗和金融方面的答案

如何设置：
你需要先准备：

• 能使用 GPU 的 Docker
• 一台多 GPU 服务器，比如模型卡示例用的 8 x H200
• 足够放下约 572 GB FP8 权重的磁盘

1. 拉取支持这个模型的 SGLang 镜像。
2. 用模型路径和适合你 GPU 的并行设置启动服务。
3. 向 30000 端口上的服务发送聊天请求。

docker pull lmsysorg/sglang:dev-ling-3.1-flash

docker run --gpus all --network host --ipc=host --rm \
  lmsysorg/sglang:dev-ling-3.1-flash \
  python3 -m sglang.launch_server \
    --model-path inclusionAI/Ling-3.1-flash \
    --tp 8 --ep 8 \
    --speculative-algorithm NEXTN \
    --host 0.0.0.0 --port 30000

想自己获取文件，可以用 Hugging Face 工具。

pip install -U huggingface_hub
hf download inclusionAI/Ling-3.1-flash

如何使用：
服务启动后，用模型名 Ling-3.1-flash 向它发送聊天补全请求。模型卡的示例打开了思考，流式返回回复，并设置 temperature 1.0、top_k 20 和 top_p 0.95。在 4 x GB300 上，请改用模型卡里较小的并行设置。

可选的 Hopper 解码优化能让 batch-1 解码快约 10%。你用下面这两个设置来启用它们。

SGLANG_ENABLE_FP8_BLOCK_GEMV=1
SGLANG_ENABLE_FUSED_KDA_OUTPUT_QUANT=1

工具 | 作用
SGLang | 用 NEXTN 推测解码和 Hopper 解码优化来提供模型服务
vLLM | 模型卡的第二种服务方式，有自己的安装步骤
LingCode | 基于开源智能体 Pi 构建的编程套件，作者以后可能会发布

示例：你在 8 张 H200 上启动服务，打开思考和流式输出，问一个简短的事实问题。服务以聊天补全数据块的形式把答案流式返回。

新手与专家：这个模型需要 GPU 集群，所以第一次尝试通过模型卡链接的在线页面会更容易。如果你自己运行，先用 SGLang 镜像和一个简短的问题开始。

对懂行的人来说，它的设计是混合线性的专家混合模型，有 63 个 KDA 层和 9 个门控 MLA 层，比例为 7 比 1，另有 4 个稠密层。它有 512 个路由专家、1 个共享专家，每个 token 激活 8 个专家，64 个注意力头，隐藏维度 4096。代价是内存：每个 token 只有 25B 参数在工作，但全部 560B 都要加载。

拉取 SGLang 镜像
用并行设置启动服务
向 30000 端口发送聊天请求
流式返回回复

注意事项：

Title: 参数量，单位十亿
总计: 560 billion
每个 token 激活: 25 billion

• 硬件：示例服务器使用 8 x H200，配 TP8 和 EP8，或 4 x GB300 配较小的设置。
• 体积：文件以 FP8 形式约 572 GB，4 位下约 286 GB，这只是估算值。
• 基准测试：模型卡列出了 Terminal-Bench 4.0、SWE-bench Pro 和 MCP-Atlas 等测试，分数只以图片形式给出。
• LingCode：它尚未发布，作者只说在考虑。
• License: mit
• Cost to run: 没有提到 API 密钥或付费服务。成本在 GPU 硬件上。
• Data it reaches: 它会拉取 Docker 镜像和模型文件，示例服务器在 30000 端口监听所有网络接口。
• Not for: 小型机器，因为示例需要 8 x H200 或 4 x GB300。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：572B
• Weights: about 572 GB in F8_E4M3; about 286 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：8,327
• 点赞：170
• 许可证：mit
• Quantized versions: 8
• 标签：safetensors, bailing_hybrid, text-generation, conversational, fp8

链接

• 模型：https://huggingface.co/inclusionAI/Ling-3.1-flash
• 文件：https://huggingface.co/inclusionAI/Ling-3.1-flash/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download inclusionAI/Ling-3.1-flash

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。