Ling-3.1-flash-1019

Ling-3.1-flash-1019

处理科学和智能体任务，总参数 560B，激活参数 25B，上下文 1M token，在 Ling-3.1-flash 基础上进一步调优。服务示例使用多 GPU 服务器上的 SGLang 和 vLLM，采用 MIT 许可。

由 inclusionAI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Ling-3.1-flash-1019 是 inclusionAI 的 Ling-3.1-flash 的升级版。它总共有 560B 参数，每个 token 使用其中的 25B，上下文长度为 1M token。额外的后训练提高了它在科学和智能体测试上的分数，模型卡把这解读为多步工作和工具驱动工作流的改进。

适合谁：它适合有多 GPU 服务器、想要一个开放模型来做智能体、科学问题和办公自动化的团队。

行业 | 谁在用 | 怎么用 | 例子
软件和 AI 团队 | 部署大型模型的团队 | 在 SGLang 或 vLLM 后面运行模型 | 启动服务，开着思考发送聊天请求
办公自动化 | 构建智能体工作流的团队 | 让模型分多步规划并调用工具 | 运行一个 AutomationBench-AA 这类的任务
科学研究 | 用科学问题测试模型的研究者 | 与上一版比较 | 看看模型卡列出的 CritPt 和 SciCode 提升

如果你没有多 GPU 服务器，可以略过它，因为就算是 4 位权重也有约 286 GB。

用在哪里：

• SGLang，模型卡推荐的方式，通过 Docker 镜像
• vLLM，有自己的环境和服务设置
• 模型卡链接的 ModelScope 和 OpenRouter 页面
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用途 | 谁用 | 能得到什么
智能体工作流 | 开发者 | 带工具调用的多步任务处理
科学问题 | 研究者 | 在 CritPt 和 SciCode 等测试上的答案
工具驱动的办公任务 | 自动化团队 | 需要工具和推理的任务的结果

如何设置：
你需要先准备：

• SGLang 路线需要能用 GPU 的 Docker，vLLM 路线需要 uv 和 Python 环境
• 一台多 GPU 服务器，比如模型卡示例用的 8 x H200
• 足够放下约 572 GB FP8 权重的磁盘

1. 拉取支持这个模型系列的 SGLang 镜像。
2. 用模型路径和适合你 GPU 的并行设置启动服务。
3. 或者准备 vLLM 环境，改用它的服务。

docker pull lmsysorg/sglang:dev-ling-3.1-flash

docker run --gpus all --network host --ipc=host --rm \
  lmsysorg/sglang:dev-ling-3.1-flash \
  python3 -m sglang.launch_server \
    --model-path inclusionAI/Ling-3.1-flash \
    --tp 8 --ep 8 \
    --speculative-algorithm NEXTN \
    --host 0.0.0.0 --port 30000

如果用 vLLM，先创建 uv 环境。

pip install uv

uv venv ~/my_ling_env

source ~/my_ling_env/bin/activate

接着，从 GitHub 上的 vLLM 项目克隆名为 vllm 的分支，然后在那个文件夹里安装。

cd vllm

VLLM_USE_PRECOMPILED=1 uv pip install --editable . --torch-backend=auto

想自己获取这个仓库的文件，可以用 Hugging Face 工具。

pip install -U huggingface_hub
hf download inclusionAI/Ling-3.1-flash-1019

如何使用：
先启动一个服务，再向它发送聊天请求。模型卡的 SGLang 示例写的是 Ling-3.1-flash 的权重，所以请确认你加载的是哪份权重。想要最好的效果，设置 temperature 1.0、top_p 0.95 和 top_k 20，并打开思考。

vllm serve "$MODEL_PATH" \
    --port "$PORT" \
    --trust-remote-code \
    --served-model-name auto \
    --tensor-parallel-size 8 \
    --gpu-memory-utilization 0.85 \
    --enable-prefix-caching \
    --enable-expert-parallel \
    --mamba-cache-mode align \
    --enable-auto-tool-choice \
    --tool-call-parser ling3 \
    --reasoning-parser ling3 \
    --speculative-config '{"method":"mtp","num_speculative_tokens":3}'

工具 | 作用
SGLang | 用 NEXTN 推测解码和 Hopper 解码优化来提供模型服务
vLLM | 用名为 ling3 的工具调用和推理解析器，再加 MTP 推测解码来提供服务

示例：你在 8 张 GPU 上启动 vLLM 服务，开着思考问一个简短的事实问题。服务以 OpenAI 风格的聊天格式回答，推理部分由 ling3 解析器分离出来。

新手与专家：这个模型需要 GPU 集群，所以第一次尝试通过模型卡链接的在线页面会更容易。如果你自己运行，先从一个简短的问题和推荐的采样设置开始。

对懂行的人来说，它的设计是混合线性的专家混合模型，有 63 个 KDA 层和 9 个门控 MLA 层，比例为 7 比 1，另有 4 个稠密层。它有 512 个路由专家、1 个共享专家，每个 token 激活 8 个专家，64 个注意力头，隐藏维度 4096。代价是内存：每个 token 只有 25B 参数在工作，但全部 560B 都要加载。

准备 SGLang 或 vLLM 环境
用并行设置启动服务
开着思考发送聊天请求
得到推理已分离的回复

注意事项：

Title: Artificial Analysis Intelligence Index v4.3.2
Ling-3.1-flash: 41
Ling-3.1-flash-1019: 44

Title: 相比 Ling-3.1-flash 报告的提升
基准测试 | Ling-3.1-flash | Ling-3.1-flash-1019
AA-Briefcase | 1397 | 1524
AutomationBench-AA | 62% | 68%
CritPt | 18% | 26%
SciCode | 54% | 57%

• 指数 v5：在更新后的 Artificial Analysis Intelligence Index v5 上，模型卡给这个模型的分数是 30。
• 硬件：示例服务器使用 8 x H200，配 TP8 和 EP8。
• 体积：文件以 FP8 形式约 572 GB，4 位下约 286 GB，这只是估算值。
• 分数：所有基准测试数字都是作者自己报告的。
• License: mit
• Cost to run: 没有提到 API 密钥或付费服务。成本在 GPU 硬件上。
• Data it reaches: 它会拉取 Docker 镜像、一个 vLLM 分支和模型文件，示例服务器在 30000 端口监听所有网络接口。
• Not for: 小型机器，因为示例需要 8 x H200。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：572B
• Weights: about 572 GB in F8_E4M3; about 286 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：4,304
• 点赞：99
• 许可证：mit
• Quantized versions: 14
• 标签：safetensors, bailing_hybrid, text-generation, conversational, fp8

链接

• 模型：https://huggingface.co/inclusionAI/Ling-3.1-flash-1019
• 文件：https://huggingface.co/inclusionAI/Ling-3.1-flash-1019/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download inclusionAI/Ling-3.1-flash-1019

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。