KLM 1.5

KLM 1.5

一个 99M 参数的基础语言模型，从零开始在 100B token 上训练，采用混合注意力设计。适合想运行、研究或微调一个极小开放模型的研究人员和爱好者。

由 MinimaLabs 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：KLM 1.5 是 MinimaLabs 推出的 99M 参数基础语言模型。它的架构是全新的，在 100B token 上从零学起，而 KLM 1.1 是在旧模型上继续训练。因为它是基础模型，所以它会续写文本，而不是遵循聊天指令。它的 F32 权重约 396 MB。

适合谁：如果你想要一个很小的英文语言模型，用于实验、小规模测试，或在普通硬件上微调，它很适合研究人员、学生和爱好者。

行业 | 谁在用 | 怎么用 | 例子
研究 | 语言模型研究人员 | 研究带有混合注意力层和 n-gram 记忆的小模型 | 与其他 1.5 亿参数以下的模型比较
教育 | 学生 | 了解小型语言模型是怎么构建和训练的 | 对照训练阶段和基准得分一起阅读
软件 | 开发者 | 用一个很小的基础模型作为微调的起点 | 把它调整到一个狭窄的文本任务
业余项目 | 爱好者 | 在笔记本电脑上运行一个很小的模型 | 不用 GPU 测试文本续写

如果你需要聊天助手或很强的推理能力，可以跳过它，因为这是一个小型基础模型，得分只比随机水平高一些。

用在哪里：

• 使用 transformers 库的 Python 脚本
• Windows、macOS 和 Linux
• 小型机器，因为 F32 权重约 396 MB

用途 | 谁用 | 得到什么
文本续写 | 开发者 | 接着你的提示词写下去的文本
研究比较 | 研究人员 | 一个带有公开得分的小型参考模型
微调基础 | 开发者 | 一个可以调整的紧凑起点

如何设置：

• Python，并安装 transformers 库
• 约 396 MB 磁盘空间存放 F32 权重，估计 4-bit 约 49 MB
• 这么小的模型不需要 GPU

1. 安装 Hugging Face 工具。
2. 把模型文件下载到你的电脑。
3. 用 transformers 加载模型，并给它一段文本提示词。

pip install -U huggingface_hub
hf download MinimaLabs/KLM-1.5

如何使用：你给模型一段文字的开头，它会写出接下来的内容。这里能看到的模型卡部分没有给出运行命令，所以请查看完整的模型卡获取准确的代码。模型卡公布了零样本基准得分，方便比较。

工具 | 作用
Gated DeltaNet-2 layers | 让一个固定大小的记忆贯穿整段文本
Full attention layers | 直接查看之前的 token，每四层有一层
n-gram memory | 为常见的词对和词组查找学到的向量
Tokenizer | 使用 4,100 个 token，并把数字拆成单个数字

示例：你给模型一个句子的开头。它会逐词写出后续内容。这个规模下输出可能比较粗糙，所以请用它来学习和测试想法，而不是写成品文字。

新手与专家：基础模型只会续写文本，而 99M 的模型和聊天模型相比非常小。第一次尝试时，可以先下载它，再给它一句简短的开头。

如果你熟悉这个领域，KLM 1.5 以 3:1 的比例混合 Gated DeltaNet-2 和全注意力，加入了块注意力残差，并使用一个有 5.4M 参数的精确 n-gram 记忆。训练分三个阶段：叠加预热、在 80B token 上的稳定训练，以及在 20B token 上做衰减，这一阶段加入更多数学和问答数据。

提示词文本变成 token
token 取得 n-gram 记忆向量
混合层处理序列
模型预测下一个 token
重复以续写文本

Title: ARC-Easy 准确率，零样本
KLM 1.5: 59.68 %
KLM 1.1: 44.36 %
GPT-X3-150M: 59.64 %
SmolLM2-135M: 58.63 %
LFM-2.5-230M-Base: 59.72 %
void.1: 47.31 %

注意事项：

• 体积：99M 参数，4,100 个 token 的词表占 2.1M 参数。
• 得分：模型卡称它在一个排行榜上的 Intelligence Index 为 30.26，在 1 亿参数以下的模型中排第一。
• 训练：分三个阶段，使用 2,048 个 token 的序列，每步 128 条。
• License: Apache 2.0。
• Cost to run: 未提及。
• Data it reaches: 它会从 Hugging Face 下载模型文件，并处理你提供的文本。
• Not for: 遵循聊天指令，因为它是基础模型。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：99M
• Weights: about 396 MB in F32; about 49 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,603
• 点赞：31
• 许可证：apache-2.0
• 语言：en
• 标签：transformers, safetensors, text-generation, small-language-model, base, pretrained, hybrid, gated-deltanet

链接

• 模型：https://huggingface.co/MinimaLabs/KLM-1.5
• 文件：https://huggingface.co/MinimaLabs/KLM-1.5/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download MinimaLabs/KLM-1.5

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。