Kiyo-65M

Kiyo-65M

用一个只有 65M 参数的仅解码器小模型续写英文文本，它在 80B 个词元上训练。适合想研究、比较小型 transformers 模型或拿它测试代码的学习者和研究者。

由 DedeProGames 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个只有 65M 参数的英文小语言模型，是 Kiyo 系列里最小的一个。它是基础模型，所以会续写你给它的文本，不会遵循指令。它在 80B 个词元上从随机权重开始训练，用的是网页文本、代码和数学数据，采用 SmolLM2 架构。

适合谁：适合想要一个描述完整的小模型来学习、比较或当作轻量测试对象的人。

行业 | 谁在用 | 怎么用 | 例子
教育 | 学习语言模型的学生 | 从层数和头数出发研究一个小型仅解码器模型 | 读模型表格，然后运行示例脚本
研究 | 小模型研究者 | 把它当作 50M 到 65M 规模的基线 | 把它的 ARC-Easy 分数与其他基础模型比较
软件 | 测试流程的开发者 | 用约 130 MB 的模型测试生成代码 | 在换成更大的模型之前检查生成循环

如果你需要聊天助手、遵循指令、处理长文档或可靠的事实，可以跳过它。

用在哪里：它在 Python 里通过 transformers 库运行，支持 Windows、macOS 或 Linux。

• 使用 transformers 和 torch 的 Python 脚本
• 带 CUDA GPU 的机器，因为模型卡的示例把模型放到了 GPU 上
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

使用场景 | 谁用 | 得到什么
文本续写 | 学习者 | 在模型卡的示例里，一句话的开头被续写最多 64 个新词元
基线比较 | 研究者 | 四个基准上的零样本分数，用来对照
流程测试 | 开发者 | 一个小检查点，在用更大模型之前拿来跑代码

如何设置：安装三个 Python 包，然后运行模型卡里的短脚本。脚本按模型 ID 加载模型。

• Python
• transformers、safetensors 和 torch 这几个包
• CUDA GPU，因为示例脚本调用了 cuda
• 大约 130 MB 的空间存放 BF16 权重

1. 安装这三个 Python 包。
2. 把模型卡里的脚本保存成文件。
3. 用 Python 运行这个文件，读打印出来的文字。
4. 或者用 Hugging Face 工具自己取回文件。

pip install -U transformers safetensors torch

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "DedeProGames/Kiyo-65M"

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16 if torch.cuda.is_available() and torch.cuda.is_bf16_supported() else torch.float16,
).cuda().eval()

prompt = "The meaning of life is "
input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(model.device)

with torch.no_grad():
    output = model.generate(
        input_ids=input_ids,
        max_new_tokens=64,
        do_sample=False,
        repetition_penalty=1.1,
        pad_token_id=tokenizer.eos_token_id,
        eos_token_id=tokenizer.eos_token_id,
    )

print(tokenizer.decode(output[0], skip_special_tokens=True))

pip install -U huggingface_hub
hf download DedeProGames/Kiyo-65M

如何使用：把 prompt 那一行改成一段文字的开头，再运行一次脚本。模型会续写这个开头，所以请把提示词写成开场白，而不是问题。

工具 | 作用
AutoTokenizer | 把你的文本变成词元 ID，再变回文本
AutoModelForCausalLM | 加载模型，让它能续写文本
generate | 续写提示词，这里最多新生成 64 个词元，不做采样

示例：提示词是 The meaning of life is 加一个空格，脚本会打印出这个开头再加最多 64 个词元。预期得到的是一段流畅的续写，而不是经过核对的答案。

新手与专家：语言模型预测接下来是什么文字，而这个模型小到可以把它读个透。第一个小尝试是原样运行模型卡的脚本，然后改一改提示词，比较各次的续写。

对专家来说，它是 Llama 风格的解码器，有 15 层、隐藏维度 512、8 个注意力头和 4 个 KV 头，也就是分组查询注意力。它还用了 RMSNorm、SwiGLU、theta 为 10,000 的 RoPE、共享的嵌入层和 49,152 个词元的 SmolLM2 词表。训练进行了 152,587 个优化步，每步 524,288 个词元，采用 warmup-stable-decay 学习率计划，峰值学习率为 2.0e-3。数据配比是 45.0% FineWeb-Edu、30.0% DCLM-Baseline、17.5% Stack-v3-train 代码和 7.5% FineMath。取舍在于体量与推理能力，因为较难的题目接近随机水平。

把提示词切成词元
运行 65M 解码器
选出下一个词元
重复直到上限
解码回文本

注意事项：模型卡在四个零样本基准上把它与其他小型基础模型做了比较。

Title: Kiyo-65M 零样本准确率
ARC-Easy: 46.51 %
PIQA: 62.30 %
ARC-Challenge: 23.29 %
HellaSwag: 31.98 %

• Base model: 它续写文本，不遵循指令。
• Weak spots: 涉及数字的推理、环环相扣的逻辑和记住前面的上下文，较难的题目得分接近随机水平。
• Context: 2,048 个词元，这限制了长文档的使用。
• Facts: 它可能说出错误的事实，所以在任何高风险用途前都要核实。
• Generation: 保持一个有限的长度上限，避免重复或跑偏。
• License: Apache 2.0。
• Cost to run: 未提及，没有 API 密钥、账号或付费服务。
• Data it reaches: 它从 Hugging Face 下载模型文件，并读取你给它的提示词。
• Not for: 遵循指令、长文档，或未经核对的高风险决定。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：65M
• Weights: about 130 MB in BF16; about 32 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,179
• 点赞：5
• 许可证：apache-2.0
• 语言：en
• Quantized versions: 1
• 标签：transformers, safetensors, llama, text-generation, causal-lm, language-model, base-model, smollm, kiyo, pytorch, conversational

链接

• 模型：https://huggingface.co/DedeProGames/Kiyo-65M
• 文件：https://huggingface.co/DedeProGames/Kiyo-65M/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download DedeProGames/Kiyo-65M

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。