Memorilla-Qwen3-8B

Memorilla-Qwen3-8B

收录 Memorilla 的记忆模块检查点，通过 Qwen3-Embedding-4B 编码器给冻结的 Qwen3-8B 模型加上记忆。适合研究语言模型记忆的研究者。

由 memorilla 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Memorilla-Qwen3-8B 是 Memorilla 项目的一组记忆模块检查点。训练每一个时，Qwen3-8B 解码器和 Qwen3-Embedding-4B 编码器都保持冻结。

这些模块只能与那两个模型一起使用。仓库有五个文件夹，三个训练阶段和两个微调变体。

适合谁：适合研究语言模型记忆、个性化或长期知识的研究者和开发者，他们需要能运行 Memorilla 代码。

Industry | Who uses it | How they use it | Example
研究 | 语言模型研究者 | 评估或扩展训练好的记忆模块 | 从第 2 阶段检查点继续训练
软件 | 测试个性化的开发者 | 加载微调后的记忆检查点 | 试用 PersonaMem-v2 变体
教育 | 学习模型记忆方法的学生 | 复现分阶段训练配方 | 对一个检查点运行评估脚本

如果你想要能独立使用的聊天模型，可以跳过它，因为这个仓库放的是记忆模块，不是独立模型。

用在哪里：

• 来自 GitHub 的 Memorilla 代码，带有它的 Python API 和脚本
• 装有 Python 的 Windows、macOS 或 Linux，用来下载检查点
• 已经能运行 Qwen3-8B 和 Qwen3-Embedding-4B 的环境

Use case | Who | What they get back
加载训练好的记忆 | 研究者 | 来自检查点文件夹的记忆模块对象
评估检查点 | 做实验的人 | 评估脚本给出的结果
继续训练 | 方法开发者 | 从较早检查点开始的新一轮训练

如何设置：

• Python 和 pip
• 照它的安装说明，从 GitHub 项目安装 Memorilla 代码
• 模块要配合使用的 Qwen3-8B 和 Qwen3-Embedding-4B 模型

1. 安装 Memorilla 代码。
2. 把检查点下载到本地文件夹。
3. 在 Python 里加载你想要的检查点。

hf download memorilla/Memorilla-Qwen3-8B --local-dir checkpoints

Folder | Checkpoint | What it is
stage1 | Stage 1 | 第一个训练阶段
stage2 | Stage 2 | 从 Stage 1 继续
stage3 | Stage 3 | 从 Stage 2 继续，保存于第 00 轮
pv4 | PersonalizationV4 | 从 Stage 1 微调
pmv2 | PersonaMem-v2 | 从 Stage 1 微调

如何使用：用 MemoryModule 加载一个检查点文件夹。其余的由两个脚本完成：一个给检查点打分，另一个通过 init_memory 标志从较早的检查点继续训练。

from memorilla import MemoryModule

memory = MemoryModule.from_pretrained("checkpoints/stage3")

scripts/evaluate.sh checkpoints/pv4 pv4
scripts/train.sh configs/stage3_multitask.yaml --init_memory checkpoints/stage2

Tool | What it does
MemoryModule.from_pretrained | 从检查点文件夹加载记忆模块
scripts/evaluate.sh | 评估一个检查点
scripts/train.sh | 按配置文件训练，可选地从某个检查点开始

示例：你下载检查点，并用 MemoryModule 加载 stage 3 文件夹。你会得到一个记忆模块，再把它和冻结的 Qwen3-8B、Qwen3-Embedding-4B 模型一起使用。

新手与专家：如果你刚接触这个，可以把模块想成语言模型的外挂记忆。下载文件，安装 Memorilla 代码，先加载 stage 3 检查点。

如果你熟悉这个领域，每个文件夹里有 memory.pt（194M 参数，bfloat16）和 config.json（设定 16 个记忆词元、没有文档自注意力）。分阶段的配方从英文维基百科阶段走向混合，再到多任务训练。

下载检查点文件夹
安装 Memorilla 代码
加载记忆模块
和两个冻结的模型一起使用

注意事项：

• 这些模块是针对冻结模型训练的，必须和同样的两个模型一起用
• 两个微调变体都从 Stage 1 开始
• Memorilla 项目里的训练指南解释了各个阶段和配方
• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 你下载的检查点文件，以及你用来评估的数据
• Not for: 独立使用，或与 Qwen3-8B 和 Qwen3-Embedding-4B 以外的模型一起使用

Hugging Face 上的数据（2026年11月13日）

• 最近 30 天下载：139
• 点赞：19
• 许可证：apache-2.0
• 基于：Qwen/Qwen3-8B
• 标签：memory, long-context

链接

• 模型：https://huggingface.co/memorilla/Memorilla-Qwen3-8B
• 文件：https://huggingface.co/memorilla/Memorilla-Qwen3-8B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download memorilla/Memorilla-Qwen3-8B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。