MemT-1.0-Nano

MemT-1.0-Nano

自带固定大小记忆状态的语言模型，基于 Qwen3.6-35B-A3B，无需重读就能保留过去的上下文。适合研究模型和智能体记忆的研究人员和开发者。

由 MemTensor 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：MemT-1.0-Nano 是一个自带记忆的语言模型。一个原生记忆块与常规注意力层并排工作，保存一个随对话推进而更新的状态。由于这个状态大小不变，在 128K 历史长度下，它所需的存储比完整上下文的 KV 缓存少约 66 倍。它基于 Qwen3.6-35B-A3B。

适合谁：适合想要一个无需重读原文就能带着过去轮次信息的模型的研究人员和开发者。

Industry | Who uses it | How they use it | Example
研究 | 记忆与长上下文研究人员 | 研究内置于模型的记忆 | 对比参数化记忆与基于文本的记忆
软件 | 智能体开发者 | 在长编程任务中复用过去的经验 | 把过程性经验存进模型的记忆
平台 | 推理工程师 | 降低长历史的存储成本 | 用固定大小的状态运行长会话

如果你想要普通的聊天模型，可以跳过，因为模型卡说在需要详细证据的长历史上，基于文本的记忆系统总体仍然领先。

用在哪里：它通过 Hugging Face Transformers 在带 CUDA GPU 的机器上用 Python 运行。

• 开启远程代码、使用 Transformers 的 Python 脚本
• 带 PyTorch 2.11.0 和 CUDA 13 支持的 GPU 机器
• 用于下载步骤的 Windows、macOS 或 Linux

Use case | Who | What they get back
持久记忆 | 研究人员 | 把历史保存在固定大小状态里的模型
智能体编程 | 智能体开发者 | 通过记忆注意力使用过去的编程经验
基准研究 | 评测人员 | 在 11 个记忆基准上的结果

如何设置：你需要 Python 3.11 或更新版本，以及适合你 GPU 的、支持 CUDA 13 的 PyTorch 2.11.0。然后安装三个固定版本的库。Hugging Face 标注 BF16 约 70.2 GB，4 位下估计约 17.6 GB。

• Python 3.11 或更新版本
• 支持 CUDA 13 的 PyTorch 2.11.0
• 约 70.2 GB 磁盘空间，用于 BF16 权重

1. 为你的 GPU 安装 PyTorch。
2. 安装固定版本的库。
3. 用 Transformers 加载模型，开启远程代码并使用 bfloat16 权重。

pip install transformers==5.12.1 accelerate==1.15.0 safetensors==0.8.0

pip install -U huggingface_hub
hf download MemTensor/MemT-1.0-Nano

如何使用：按仓库名或本地文件夹加载分词器和模型，开启远程代码，然后像用任何 Transformers 模型一样生成。每一轮或每一段结束后，模型会刷新它的记忆，所以更早的上下文会延续下去。

Tool | What it does
AutoTokenizer | 加载分词器，开启远程代码
AutoModelForCausalLM | 用 bfloat16 权重加载模型
pipeline | 在已加载的模型上运行文本生成

示例：你和模型聊了好几轮，然后问起之前说过的某件事。模型从它的记忆状态回答，而不是靠提示词里的旧文本。

新手与专家：如果你是新手，可以把它想成里面带着一个小笔记本的聊天模型，每一轮之后都会更新。先安装这些库，再按快速上手的步骤加载模型。

如果你熟悉这个领域，局部记忆块保存多通道记忆矩阵，超记忆块包含可训练的查询、键、值投影以及擦除、写入、遗忘和输出门。记忆注意力把带门控的读出加到主干注意力上，再由 GDN-2 步骤更新状态。

一轮或一段文本
主干注意力读取提示词
记忆注意力读取状态
输出合并并经过门控
为下一步更新记忆状态

注意事项：在 11 个记忆基准上，更大的 Flash 兄弟版在所测的参数化记忆方法中排第一，Nano 排第二。

• License: Apache 2.0
• Cost to run: 没有提到 API 密钥、账号或付费服务，但你需要有能放下 35B 模型的 CUDA GPU
• Data it reaches: 你机器上的提示词和对话状态，以及从 Hugging Face 下载的文件
• Not for: 需要从长历史中检索详细证据的任务，这类任务基于文本的记忆系统仍然领先

Title: 总参数量，单位为十亿
MemT-1.0-Nano: 36 B
MemT-1.0-Flash: 288 B

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：35.1B
• Weights: about 70.2 GB in BF16; about 17.6 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：89,212
• 点赞：177
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.6-35B-A3B
• Quantized versions: 2
• 标签：transformers, safetensors, memt_qwen3_5_moe, text-generation, memt, conversational

链接

• 模型：https://huggingface.co/MemTensor/MemT-1.0-Nano
• 文件：https://huggingface.co/MemTensor/MemT-1.0-Nano/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download MemTensor/MemT-1.0-Nano

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。