tiny-llm

tiny-llm

接着你输入的故事开头往下写，用的是一个从零训练、在 TinyStories 上训练的 30M 参数语言模型，由项目自己的推理服务器提供。这是一个在免费 CPU 上演示路由的学习性演示。

由 CoolDip00 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：tiny-llm 是一个有 3000 万参数的小型语言模型，在 TinyStories 上从零训练。项目用自己的推理引擎来提供服务，它做连续批处理、流式输出和负载卸载。这个 Space 是一个小型路由器，位于服务器的两个私有副本前面，运行在 Hugging Face 的免费 CPU 档位上。作者把它称为路由的学习性演示。

适合谁：它适合想看一个小型语言模型和一套自己搭的服务栈如何端到端运作的人，也适合研究路由、速率限制和状态页的开发者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 后端工程师 | 研究位于模型副本前面的路由器 | 阅读两个副本都忙时请求是如何被卸载的
AI 工程 | 推理工程师 | 看一个带批处理和流式输出的从零搭建的服务器 | 在状态页上观察延迟和吞吐量
教育 | 学生 | 试用一个很小的模型，了解它能做什么、不能做什么 | 输入一个故事的开头，读后面的内容
研究 | 小模型爱好者 | 把一个 30M 的模型和更大的模型比较 | 把同一个故事开头发给 API

如果你需要好的文笔或稳定的在线时间，可以跳过它，因为故事很简单，而且没人访问时 Space 会休眠。

用在哪里：

• 网页浏览器：在 Hugging Face 上打开这个 Space 页面，输入故事的开头。
• 任何 HTTP 客户端：向 OpenAI 风格的补全路径发送请求。
• 装有 Docker 的 Windows、macOS 或 Linux：自己构建镜像并运行。

使用场景 | 谁用 | 能得到什么
续写故事 | 任何人 | 接着你的开头往下写的一个短故事
检查服务 | 运维人员 | 状态路径上的实时延迟、吞吐量、目标和副本状态
调用 API | 开发者 | 一个 OpenAI 风格的补全回复

如何设置：使用托管页面不需要你做任何准备。本地副本需要先备好下面这些东西。

• Windows、macOS 或 Linux 上的 Docker。
• Python 和 pip，用来通过 hf 命令下载文件。

1. 用 pip 安装 huggingface_hub 包。
2. 用 hf 命令把这个 Space 的文件下载到一个文件夹里。
3. 进入这个文件夹。
4. 用 Dockerfile 构建 Docker 镜像。
5. 运行镜像并映射 7860 端口。

pip install -U huggingface_hub
hf download CoolDip00/tiny-llm --repo-type space --local-dir tiny-llm
cd tiny-llm
docker build -t tiny-llm .
docker run -it -p 7860:7860 tiny-llm

如何使用：在 Space 页面上写下故事如何开头，模型会从那里接着写。使用 API 时，向补全路径发送一个带提示词和 token 上限的 JSON POST。状态路径会显示实时延迟、吞吐量和每个副本的状态。

{"prompt": "Once upon a time", "max_tokens": 60}

工具 | 作用
演示页面 | 续写你开头的故事
/status | 显示延迟、吞吐量、服务目标和副本状态
/v1/completions | 接收 OpenAI 风格的补全请求
/stats | 显示副本运行的提交

示例：你在演示页面输入 Once upon a time。模型接着写出一个简短、简单的故事。如果两个副本都忙，你会立刻收到 429 回复；Space 休眠之后，你会看到一条正在唤醒的消息，所以一分钟后再重试。

新手与专家：如果你是新手，打开页面，输入一个故事的开头。因为模型很小，所以故事会很平淡，有时还很怪。之后去状态路径看看服务测到了什么。

如果你熟悉这个领域，声明的目标是首个 token 的第 95 百分位时间不超过 2 秒，可用性 99%。每位访客每分钟有 20 个请求的额度，一次突发最多 5 个。两个副本都满时，会立刻回复 429，没有人需要排队。这个 Space 在两个私有副本前运行项目仓库里的一个路由器构建，副本用 2 个 vCPU。

你向路由器发送一个提示词
路由器检查你的速率限制
它挑一个有空位的副本
副本把续写内容以流的形式送回来
两个副本都满时立刻返回 429

注意事项：模型很小，运行在共享的 CPU 上，所以故事很简单，有时很怪。48 小时没有访客之后，这些 Space 会进入休眠，也没有任务会唤醒它们。

• License: mit
• Cost to run: none named，因为它用的是 Hugging Face 的免费 CPU 档位
• Data it reaches: 服务会记录请求的细节，比如耗时、token 数、状态和结束原因，不会记录你输入的内容或模型写出的内容。日志在一个私有数据集里保存 30 天
• Privacy: 服务用由 IP 地址生成的加盐哈希来统计访客，不保存地址本身
• Models named: CoolDip00 的 30M TinyStories 模型、TinyLlama 1.1B Chat 和 TinyStories 1M

Hugging Face 上的数据（2026年11月13日）

• 点赞：1
• 构建方式：docker
• 许可证：mit

链接

• Space：https://huggingface.co/spaces/CoolDip00/tiny-llm
• 文件：https://huggingface.co/spaces/CoolDip00/tiny-llm/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。