KLM 1.6

KLM 1.6

用 MinimaLabs 的 99M 小型基础语言模型续写英文文字。适合想研究、测试或微调极小模型的研究者和爱好者。

由 MinimaLabs 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：KLM 1.6 是 MinimaLabs 的 99M 参数基础语言模型。它从 KLM 1.5 在衰减阶段之前保存的检查点继续训练。相比 1.5，主要改动是把学习率衰减拉得更长。

适合谁：适合想研究、比较或在其上构建的英文小模型使用者，比如研究者和爱好者。

行业 | 谁在用 | 怎么用 | 例子
研究 | 小模型研究者 | 在共同的基准上比较微型模型 | 在 ARC 和 PIQA 上与 SmolLM2-135M 对照
软件 | 开发者 | 试用内存占用极小的文本模型 | 在本地加载 99M 模型的原型
教育 | 学生 | 研究小模型如何分阶段训练 | 一个关于预热和衰减的课堂项目

想要聊天助手的人可以跳过它，因为这是基础模型，不是调过来遵循指令的模型。

用在哪里：

• Hugging Face Transformers，模型卡列出了这个库
• Windows、macOS 或 Linux，你可以用 Python 下载文件
• 内存很小的机器，因为权重在 F32 下约 396 MB，按估算 4-bit 约 49 MB

用途 | 谁用 | 得到什么
文本续写 | 开发者 | 接着你的提示继续写下去的英文文字
基准比较 | 研究者 | 在 ARC、HellaSwag、PIQA 和 ArithMark-3 上的分数
微调的基础 | 爱好者 | 一个用于你自己训练的小起点

如何设置：

你需要先准备：

• Python 和 huggingface_hub 包
• transformers 库，因为模型卡列出了它
• 一台有几百 MB 空闲内存的电脑

1. 安装 Hugging Face hub 包。
2. 把模型文件下载到你的电脑。
3. 用 transformers 加载模型。

pip install -U huggingface_hub
hf download MinimaLabs/KLM-1.6

如何使用：在 transformers 里加载模型，给它一句或一段英文的开头。基础模型是接着往下写，而不是像助手那样回答，所以把提示词写成待续写的文字。

示例：你给它一小段简单话题的开头，它会用同样的风格再写几句。这么小的模型可能跑偏或重复，所以把输出当作测试，而不是成稿。

新手与专家：基础模型从大量文字里学会了预测下一个词。第一步可以给它半句话，看它怎么收尾。

对专家来说，这个模型有 24 层，以 3 比 1 的比例混合 Gated DeltaNet-2 和注意力，隐藏层大小是 512，上下文是 2,048 个 token。它还带一个有 125,000 个二元组和 38,000 个三元组的 n-gram 记忆，词表只有 4,100 个 token。训练分三个阶段：叠加预热、稳定阶段和衰减。在 Open SLM 排行榜上，模型卡给出的 Intelligence Index 是 33.95，在 100M、150M 和 250M 参数以下的模型中排第一。

用 token 叠加训练预热
以恒定学习率稳定训练
在 100B token 上衰减学习率
加载结果并续写你的文字

注意事项：

Title: ArithMark-3 分数
KLM 1.6: 55.90 %
GPT-X3-150M: 50.90 %
KLM 1.5: 48.20 %
SmolLM2-135M: 39.20 %

• 大小：99M 参数，Safetensors 格式
• 语言：英文
• 上下文：2,048 个 token
• License: apache-2.0
• Cost to run: 没有提到，不需要 API 密钥或账号
• Data it reaches: 它会从 Hugging Face 下载模型文件，并处理你提供的文字
• Not for: 所见的模型卡文字里没有提到

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：99M
• Weights: about 396 MB in F32; about 49 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：909
• 点赞：60
• 许可证：apache-2.0
• 语言：en
• 标签：transformers, safetensors, text-generation, small-language-model, base, pretrained, hybrid, gated-deltanet

链接

• 模型：https://huggingface.co/MinimaLabs/KLM-1.6
• 文件：https://huggingface.co/MinimaLabs/KLM-1.6/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download MinimaLabs/KLM-1.6

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。