Text Surprisal Editor

Text Surprisal Editor

按一个只有 4M 参数的小语言模型觉得每个词有多意外，给文本里的每个词上色。模型没有 Transformer 块。这是一个黑客松项目，适合写作者和研究者。

由 build-small-hackathon 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Text Surprisal Editor 是一个 Gradio 应用，按一个小语言模型在上下文中觉得每个词有多意外，给文本里的每个词上色。这个模型约有 400 万参数，没有 Transformer 块，也没有自注意力，它通过学到的状态变化来携带上下文。它是为 Hugging Face 2026 年的 Build Small Hackathon 做的。

适合谁：想在屏幕上看到词级意外程度的写作者、学生和语言模型研究者会从中得到最多。README 没有点名任何客户，所以下面几行是根据应用功能做的判断。

行业 | 谁在用 | 怎么用 | 例子
研究 | 语言模型研究者 | 研究一种无注意力的设计，看它在哪里预期或怀疑某个词 | 把一句普通的话和一句古怪的话做对比
写作 | 写作者和编辑 | 找出在上下文里显得意外的词 | 粘贴一段文字，看热力图
教育 | 老师和学生 | 展示一段文字里每个词的意外度是什么意思 | 用一小段文字在课堂上讲解这个概念

如果你需要语法修改或聊天模型，可以跳过它，因为来源描述的只是一张词的意外度热力图。

用在哪里：你可以在浏览器标签页中使用它，也可以在自己的电脑上运行一份副本。

• 网页浏览器：打开 Hugging Face 上的 Space 页面
• Windows、macOS 或 Linux：用 Python 3.13 运行副本

用途 | 适合谁 | 得到什么
检查词的意外度 | 写作者和编辑 | 一张热力图，显示模型觉得哪些词出人意料
研究小模型 | 研究者 | 一个没有注意力层的模型的可运行示例
本地运行 | 有 Python 3.13 的开发者 | 在自己机器上运行的同一个 Gradio 应用，使用仓库里的权重文件

如何设置：在线使用什么都不用装。本地副本需要 Python 3.13 和列出的软件包。模型文件 final_infer.pt 已经在仓库里。

• Python 3.13 和 pip
• Gradio 6.16.0
• requirements.txt 里的软件包

1. 安装 Hugging Face hub 包。
2. 把 Space 的文件下载到一个文件夹。
3. 进入这个文件夹。
4. 安装 Gradio 6.16.0，再安装列出的软件包。
5. 用 Python 启动应用。

pip install -U huggingface_hub
hf download build-small-hackathon/pgsm-text-surprisal-editor --repo-type space --local-dir pgsm-text-surprisal-editor
cd pgsm-text-surprisal-editor
pip install gradio==6.16.0
pip install -r requirements.txt
python app.py

如何使用：README 没有逐步点击的说明。按它的描述，你输入文本，应用会按每个词有多出人意料给它上色，颜色会随文本调整。本地运行时，用一条命令启动。

python app.py

示例：粘贴一小段关于做饭的文字，结尾放上一个行星的名字。这个古怪的词在热力图里应该比周围的词更醒目，不过 README 没有给出示例输出。

新手与专家：意外度（surprisal）衡量的是一个词在前面那些词之后有多出人意料。先准备一句普通的话和一句古怪的话，分别粘贴进去，比较颜色。

这个模型是作者称为 ExactState Memory，也就是 PGSM 的无注意力设计，带有稀疏的 RoPE 状态传递和约 2k 条目的紧凑词表。它预测的是词和片段，而不是单个 token，作者用约 190 亿个 FineWeb-Edu token 训练了它。上下文通过学到的状态转移传递，而不是成对的注意力。所以分数反映的是这个小模型的预期，而不是大模型的预期。

你在应用里输入文本
模型通过学到的状态读取它
每个词得到一个意外度分数
分数被画成热力图

注意事项：

• License: Apache-2.0
• Cost to run: 未提到 API 密钥或付费服务，README 说推理在本地运行，不用外部模型 API
• Data it reaches: 你输入的文本交给 Space 自己的模型，因为没有用外部模型服务
• Not for: 替代 Transformer 语言模型，因为 README 称它是一种不同设计的实验

Hugging Face 上的数据（2026年11月13日）

• 点赞：2
• 构建方式：gradio
• 许可证：apache-2.0

链接

• Space：https://huggingface.co/spaces/build-small-hackathon/pgsm-text-surprisal-editor
• 文件：https://huggingface.co/spaces/build-small-hackathon/pgsm-text-surprisal-editor/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。