Sekai-1

Sekai-1

一个 95.6M 参数的英文聊天模型，在单块 RTX 5060 Ti 上从零训练，小到可以在 CPU 上运行。适合想试玩小型本地语言模型的人。

由 8BitStudio 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Sekai-1 是 8BitStudio 的 Sekai 系列中的第一个模型。它有 95.6M 参数，从头开始构建，全部训练都在一块 RTX 5060 Ti 显卡上完成。它先用 58.5B 个令牌预训练，再针对聊天做微调。它带有 2,048 个令牌的上下文窗口，词表只支持英文。

适合谁：适合想在自己电脑上跑一个小型聊天模型的爱好者、学生和开发者。研究小模型如何训练的人也会用得上。

行业 | 谁在用 | 怎么用 | 例子
本地 AI | 爱好者 | 在 CPU 上运行聊天模型，无需云端账户 | 用一个简短的 Python 脚本问一些简单问题
教育 | 学生和老师 | 研究小模型是怎么构建和训练的 | 阅读模型卡里关于层数、分词器和训练数据的细节
研究 | 小模型研究人员 | 比较 100M 参数以下的模型 | 对照排行榜，检查它与其他模型的零样本分数
软件 | 开发者 | 为需要极小英文模型的功能做原型 | 在较弱的硬件上测试简短回答、改写和摘要

如果你需要准确的事实、长对话、数学，或者超出简单步骤的推理，可以跳过它。

用在哪里：

• 装有 Python 的 Windows、macOS 和 Linux，通过 transformers 库
• 普通 CPU，因为模型卡说模型小到可以在 CPU 上运行
• 使用 ChatML 聊天格式的本地脚本

用例 | 适合谁 | 得到什么
简短的聊天回答 | 爱好者 | 对日常问题的简短英文回复
摘要和改写 | 写作者 | 简短的改写和摘要，需要你自己核对
代码帮助 | 初学者 | 简单的代码编写和修复，聊天调优覆盖了这些

如何设置：你需要 Python 和两个软件包。

• Windows、macOS 或 Linux 上的 Python
• transformers 和 torch 软件包
• 这个模型只用 CPU 就够了

1. 如果还没有 Python，先安装它。
2. 用下面的命令安装这两个软件包。
3. 运行后面的 Python 脚本。

pip install transformers torch

如何使用：按名称加载分词器和模型，把你的消息放进聊天模板，再调用 generate。脚本会打印出模型的回复。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "8BitStudio/Sekai-1"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

messages = [{"role": "user", "content": "Who are you?"}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_dict=True, return_tensors="pt")
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))

采样默认值存放在 generation_config.json 里，给 generate 传 do_sample=False 可以得到确定性的回答。模型读取 ChatML 格式，如下所示。

<|im_start|>user
What is the capital of France?<|im_end|>
<|im_start|>assistant
Paris<|im_end|>

示例：你用问它是谁的那条消息运行脚本。模型用一两句话回答，介绍自己是 Sekai-1，因为它的聊天调优里包含了少量身份示例。

新手与专家：这是一个能在普通电脑上运行的很小的聊天机器人。第一步很小：运行上面的脚本，问几个日常问题。预期会出错，凡是重要的内容都要核对。

它的架构沿用 Qwen3 风格：23 层，隐藏层大小 576，分组查询注意力，有 9 个查询头和 3 个键值头，还有 SwiGLU、RMSNorm、RoPE 和共享嵌入。它自己的 24,576 个令牌的 BPE 分词器会把数字拆成单个数字。优化器是 Muon 和 AdamW，搭配先预热、再稳定一段、最后衰减的学习率计划。预训练之后又用约 400M 个令牌的聊天数据微调，不含思维链。

用 58.5B 个令牌的混合文本预训练
在更高质量的混合数据上衰减
用约 400M 个令牌做聊天微调
用 transformers 在本地运行

注意事项：

• 预期会有错误的事实、长聊天里跑偏，以及多步推理或超出基础加减的数学上表现不佳。
• 没有加入安全调优或拒答行为，所以请不要用在依赖这两样的场合。
• 它只懂英文。
• 在 100M 参数以下的模型中，它的排行榜成绩排第二，是零样本测量的。
• License: apache-2.0。
• Cost to run: 未提及，CPU 就够了。
• Data it reaches: 从 Hugging Face 下载的文件，以及你给它的文字。
• Not for: 需要安全调优或拒答的场合，以及非英文文本。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：95.6M
• Weights: about 382 MB in F32; about 48 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：449
• 点赞：6
• 许可证：apache-2.0
• 语言：en
• 标签：transformers, safetensors, qwen3, text-generation, muon, rope, swiglu, chatml, conversational

链接

• 模型：https://huggingface.co/8BitStudio/Sekai-1
• 文件：https://huggingface.co/8BitStudio/Sekai-1/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download 8BitStudio/Sekai-1

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。