WPLM

WPLM

一个小型聊天机器人，它的权重是用纯文本编辑清单手写出来的，完全没有经过训练。你可以把每条回复追溯到背后的神经元。需要联网访问一个公开的查询服务。

由 Leejh123e 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：WPLM 是一个爱开玩笑的闲聊机器人，它的神经网络是手写出来的，而不是训练出来的。作者通过一份纯文本的编辑清单来设置每一个非零权重。它不用梯度下降，也不对数据做拟合。你可以把任何一条回复追溯到负责它的具体神经元、注意力头和权重。模型卡说，生成这份编辑清单的脚本是由一个 AI 写的。

适合谁：它适合好奇的开发者和研究者，他们想要一个可以像读文本文件一样阅读和编辑的小型聊天模型，也适合讲解 transformer 原理的老师。

行业 | 谁在用 | 怎么用 | 例子
AI 研究 | 可解释性研究者 | 把一条回复追溯到产生它的权重 | 用 verbose 参数运行 chat.py，阅读它打印的查询
教育 | 机器学习老师 | 展示没有训练也能有 transformer | 打开编辑文件，逐行跟着一个神经元走
业余项目 | 爱折腾的人 | 把权重当文本来编辑，看机器人如何变化 | 通过修改权重文件里的几行来给机器人改名

如果你需要一个能力强的助手，可以略过它。它的回复爱开玩笑，有时还会出错。

用在哪里：

• 笔记本上的 Python，因为它只需要约 1 GB 内存
• 能联网的电脑，因为候选词来自一个公开的查询服务
• 讲解 transformer 原理的课堂和演示
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用途 | 谁用 | 能得到什么
闲聊 | 想试试的人 | 对一条消息的简短、爱开玩笑的回复
可追溯性 | 研究者 | 网络发出的查询，用 verbose 参数显示
编辑权重 | 爱折腾的人 | 改动编辑清单后行为随之改变的机器人

如何设置：
你需要先准备：

• 装有 numpy、sentencepiece 和 huggingface_hub 的 Python
• 联网，因为查询服务是公开的，分词器也会在第一次使用时下载
• 约 1 GB 的可用内存

1. 安装 Python 包。
2. 把仓库下载到一个名为 WPLM 的文件夹。
3. 进入这个文件夹并运行 chat.py。

pip install -U huggingface_hub
hf download Leejh123e/WPLM

pip install numpy sentencepiece huggingface_hub
hf download Leejh123e/WPLM --local-dir WPLM
cd WPLM

如何使用：
带一条消息运行 chat.py 会得到一条回复，不带消息则打开交互式聊天。使用 -v 参数时，它还会显示网络发出的每一次查询。

python chat.py "tell me a joke"
python chat.py
python chat.py -v "hi"

你也可以从 Python 里调用它。

import sys
sys.path.insert(0, "WPLM")
from wplm.load import load
from wplm.host import SimHost

bot = SimHost(load("WPLM"), seed=0)
text, info = bot.reply("what's your name?")
print(text)
print(info)

工具 | 作用
chat.py | 发送一条消息，或者打开交互式聊天
wplm.load.load | 从保存的文件加载冻结的权重
wplm.load.load_from_edits | 从零开始，根据编辑清单重建权重
SimHost | 执行网络要求的查询并返回回复

示例：你让它讲个笑话。开头由权重写出，结尾由公开的查询服务提供。如果问它是谁做的，它会用写在权重里的人设台词回答，完全不做查询。

新手与专家：第一次尝试可以带上 -v 参数让它讲个笑话，这样你能看到网络向查询服务问了什么。然后再试几条别的消息做对比。

对懂行的人来说，这个网络是一个解码器 transformer，有五个由注意力加 ReLU 前馈部分组成的块，29 个注意力头，没有 LayerNorm。残差宽度是 9,114，每个维度在 arch.json 里都有名字。它的 249,124,749 个参数里只有 68,633 个非零。权重存放在一个有 14,396 行的编辑文件里，另有一份冻结的副本保存为 npz 文件。它沿用了双语言模型的思路。统计的一侧提供带计数的下一个词候选，编程出来的神经一侧负责选择。统计一侧是公开的 infini-gram API，基于 OLMo 2 的数据，来自 4.6 trillion 个 token。宿主程序只做分词、执行查询、提供随机数和追加 token。分词使用现成的 Llama-2 SentencePiece 模型。

你向机器人发送一条消息
网络决定向查询服务问什么
它权衡答案，挑选一个词或一整行
宿主不断加上每个 token，直到网络说停

注意事项：

Title: 架构一览
部分 | 数值
注意力头 | 29
残差宽度 | 9,114
非零权重 | 68,633
总参数 | 249,124,749
编辑行数 | 14,396
训练步数 | 0

• 诚实度：回复爱开玩笑，也可能出错。模型卡给出了一个因为相信了错误匹配而算错的和。
• 速度：客户端把自己限制在每分钟 40 次请求以下，所以每条回复需要好几秒。重复的查询会存进你主目录里的一个缓存文件夹。
• 屏蔽词：网络被设置为在说出某些被屏蔽的词之前停下。
• 作者：模型卡说，生成这些权重的脚本是由一个 AI 写的。
• License: mit
• Cost to run: 没有提到 API 密钥或付费服务。
• Data it reaches: 它从 Hugging Face 下载文件，第一次使用时获取一个分词器，并把基于你消息的查询发送到一个公开服务。
• Not for: 严肃的问题、事实或数学。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 最近 30 天下载：0
• 点赞：5
• 许可证：mit
• 语言：en
• 标签：weight-programming, weight-space-programming, programmed-weights, no-training, chatbot, infini-gram, text-generation

链接

• 模型：https://huggingface.co/Leejh123e/WPLM
• 文件：https://huggingface.co/Leejh123e/WPLM/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Leejh123e/WPLM

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。