Ling-3.0-tiny

Ling-3.0-tiny

用 7.9B 的混合推理模型生成文本，每个词元只激活 1.3B 参数，适合本地和低资源环境。适合不想用数据中心 GPU 却要推理和智能体能力的开发者。

由 inclusionAI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Ling-3.0-tiny 是 inclusionAI 推出的轻量推理模型，总参数 7.9B，每个词元激活 1.3B。它既能快速回答，也能分多步推理，你可以按请求打开或关闭思考。它提供 BF16、FP8 和 INT4 权重，适配多种硬件。

适合谁：想以较低推理成本、在本地机器或普通硬件上获得推理、编程和智能体能力的开发者。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在本地运行小型推理模型，辅助编程 | 在 MacBook 或 Mac mini 上提供服务
智能体 | 智能体开发者 | 把它当作智能体工作流里的低成本模型 | 只在困难步骤使用思考模式
教育 | 学生 | 在笔记本上完成数学和科学题 | 打开思考，问一个分步骤的问题

如果你需要最高的模型质量，并且有数据中心 GPU，可以跳过它。

用在哪里：

• SGLang，它有针对这个模型的指南
• NVIDIA DGX Spark
• Apple Silicon 的 MacBook 和 Mac mini
• 在 Windows、macOS 或 Linux 上下载文件

Use case | Who | What they get back
本地推理 | 开发者 | 小模型给出的多步骤回答
快速回复 | 应用开发者 | 关闭思考后的快速回答
智能体任务 | 智能体开发者 | 编程和工具类任务的处理

如何设置：

• 带 pip 的 Python
• 放得下权重的硬件，BF16 约 15.8 GB，按 Hugging Face 的估算，4 位约 3.9 GB
• 模型卡片的 Quickstart 部分，里面讲了 SGLang

1. 安装 Hugging Face hub 包。
2. 下载模型文件。
3. 按卡片的 Quickstart 提供服务。

pip install -U huggingface_hub
hf download inclusionAI/Ling-3.0-tiny

如何使用：通过你的服务栈发送提示词。思考模式默认开启，enable_thinking 设置可以按请求打开或关闭。推荐的采样参数是 temperature 1.0、top_p 0.95 和 top_k 20。

Tool | What it does
enable_thinking | 按请求打开或关闭思考模式
SGLang | 提供模型服务，附有启动方案指南

示例：你在打开思考的情况下发一道简短的数学题。模型先逐步推理，再给出答案。关闭思考时，你会得到快速回复。

新手与专家：如果你是新手，在笔记本上运行 FP8 或 INT4 版本，先关闭思考问些快速的问题。遇到更难的问题再打开。

架构上每 3 个 Kimi Delta Attention 层配 1 个 Multi-Head Latent Attention 层，前馈部分是有 128 个路由专家的稀疏混合专家块。每个词元使用 8 个路由专家加 1 个共享专家。卡片说这样能兼顾长上下文能力、参数效率和计算成本。

词元进入一个 4 层的块
3 个 KDA 层和 1 个 MLA 层处理它
路由器选出 8 个专家和 1 个共享专家
思考模式按请求开启或关闭

注意事项：

• 卡片报告 FP8 在 DGX Spark 上约为每秒 100 到 105 个词元
• 它还报告在 M4 Pro MacBook 上为每秒 86 到 90 个词元，8K 上下文时峰值内存约 8.34 GiB
• License: MIT
• Cost to run: 没有列出费用，硬件由你自己准备
• Data it reaches: 你的提示词和从 Hugging Face 下载的文件
• Not for: 需要用小模型获得数据中心级质量的用户

Title: Parameters in billions
Total: 7.9 十亿
Active per token: 1.3 十亿

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：7.9B
• Weights: about 15.8 GB in BF16; about 3.9 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：13,827
• 点赞：583
• 许可证：mit
• Quantized versions: 41
• Fine-tunes: 16
• 标签：safetensors, bailing_hybrid, text-generation, conversational

链接

• 模型：https://huggingface.co/inclusionAI/Ling-3.0-tiny
• 文件：https://huggingface.co/inclusionAI/Ling-3.0-tiny/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download inclusionAI/Ling-3.0-tiny

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。