Ling-3.0-tiny-GGUF

Ling-3.0-tiny-GGUF

inclusionAI 的 Ling-3.0-tiny 的 GGUF 副本。这是一个小型混合专家推理模型，总参数 7.9B，激活参数 1.3B，适合低成本本地运行。

由 inclusionAI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Ling-3.0-tiny 的 GGUF 副本。Ling-3.0-tiny 是 inclusionAI 的小型推理模型，采用混合专家结构，总参数 7.9B，每个词元只激活 1.3B。

它的目标是以较低的运行成本完成推理和智能体类任务，因此可以在本地或有限的硬件上运行。GGUF 是 llama.cpp 等本地运行工具读取的格式。

适合谁：适合想在自己机器上用紧凑推理模型的人，比如开发本地助手的开发者，以及在家运行模型的爱好者。

Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 给工具加入一个小型本地推理模型 | 桌面应用里的离线助手
研究 | 模型爱好者 | 测试混合专家模型在普通硬件上的表现 | 和更大的稠密模型比较速度
教育 | 学生和老师 | 在本地练习使用开源模型 | 不需要云账号的课堂演示
爱好者 | 本地 AI 用户 | 在家运行 4 位副本 | 在闲置的笔记本上和它聊天

如果你想要原始的全精度权重，或者想用不需要下载的托管聊天服务，可以跳过它。

用在哪里：适用于加载 GGUF 文件的本地运行工具，在任何能运行它们的电脑上都可以。

• 支持 GGUF 的运行工具，比如 llama.cpp
• 下载步骤需要 Python，可在 Windows、macOS 和 Linux 上进行
• 内存不大的台式机和笔记本

Use case | Who | What they get back
本地推理聊天 | 爱好者 | 自己电脑上的模型给出的分步回答
智能体实验 | 开发者 | 一个可在智能体类流程中试用的低成本模型
资源受限的部署 | 工程师 | 每个词元只激活 1.3B 参数的模型

如何设置：你需要 Python 和 Hugging Face 工具来获取文件，再需要一个能打开 GGUF 文件的运行工具。4 位的权重约 3.9 GB，这是 Hugging Face 的估算。

• 带 pip 的 Python
• 支持 GGUF 的运行工具
• 4 位副本约需 3.9 GB 磁盘空间

1. 用 pip 安装 Hugging Face 的 hub 工具。
2. 用 hf 命令下载仓库文件。
3. 在你的运行工具里打开 GGUF 文件。

pip install -U huggingface_hub
hf download inclusionAI/Ling-3.0-tiny-GGUF

如何使用：在运行工具里加载下载好的 GGUF 文件，像使用其他本地模型一样和它聊天。模型卡没有给出运行命令，并让你去看原版 Ling-3.0-tiny 的模型卡了解详情。

示例：你加载文件，请它解一道多步骤的逻辑题。模型会写出推理过程并给出答案，整个过程只在你的电脑上运行。

新手与专家：如果你是新手，先用上面两条命令下载文件，在本地运行工具里打开 GGUF 文件，先问一个简单的问题。成功之后再加上更难的推理题。

如果你熟悉这个领域：模型卡描述的是混合推理的混合专家设计。每个词元只运行 7.9B 参数中的 1.3B，这降低了每个词元的计算量，不过整个模型仍然需要为全部权重占用内存。

下载 GGUF 文件
在本地运行工具中打开
输入你的提示词
每个词元只激活 1.3B 参数
模型写出回复

注意事项：模型卡很短，完整细节指向原版 Ling-3.0-tiny 的模型卡。它没有列出这些文件使用哪些量化级别。

• License: MIT
• Cost to run: 未提及费用，你使用自己的硬件
• Data it reaches: 你从 Hugging Face 下载的文件，以及你在本地输入的提示词
• Not for: 全精度使用，因为这是原模型的 GGUF 副本

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：7.9B
• Weights: about 3.9 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：11,961
• 点赞：55
• 许可证：mit
• Fine-tunes: 1
• 标签：gguf, text-generation, conversational

链接

• 模型：https://huggingface.co/inclusionAI/Ling-3.0-tiny-GGUF
• 文件：https://huggingface.co/inclusionAI/Ling-3.0-tiny-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download inclusionAI/Ling-3.0-tiny-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。