stationhouse

stationhouse

存放 Marin-32B 的稀疏自编码器检查点、日志和特征普查文件，其中每一层都有宽度为 65536 的 TopK SAE，共 64 层。这是用于可解释性研究的档案库。

由 alxcspr 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：stationhouse 是一个研究档案库，里面是为神经元图谱在 Marin-32B 的激活上训练的稀疏自编码器，简称 SAE。主要的一组是宽度 65536、k 为 32 的 TopK SAE，64 层每一层都训练了一个。它还包含第 45、57 和 63 层的宽度探测，以及日志、统计数据和普查文件。

适合谁：如果你是研究 Marin-32B 的可解释性研究人员，想要现成的 SAE 检查点和旁边附带的训练记录，它就适合你。请先读下面 Good to know 里的输入约定警告。

行业 | 谁在用 | 怎么用 | 例子
AI 可解释性 | 研究 Marin-32B 的研究人员 | 加载某一层的 SAE，查看它学到的特征 | 查看第 45 层的特征
模型分析 | 对比 SAE 运行的团队 | 在同一宽度系列内对比验证日志 | 检查 64k 扫描各层的 val_fvu
研究工具 | 构建特征浏览器的工程师 | 读取每一层的普查文件 | 用 uniform 普查数据做一个查看器

如果你想要一个能聊天的模型，可以跳过它，因为这个档案库里是研究文件，不是成品助手。

用在哪里：

• 装有 Python 的 Windows、macOS 和 Linux，用来下载文件
• 能把 Marin-32B 激活送入 SAE 的可解释性流程
• 读取 parquet、JSON 和 JSONL 文件的分析笔记本

用例 | 谁 | 得到什么
特征查看 | 可解释性研究人员 | 模型每一层的一个训练好的 SAE
训练复盘 | 方法评审人员 | 每一层的训练和验证日志
特征普查 | 工具开发者 | 描述所学特征的普查表

如何设置：
你需要先准备：

• Python，用来使用 Hugging Face 的下载客户端
• 你能送入 SAE 的 Marin-32B 激活
• 完整扫描所需的足够磁盘空间，所以请先在页面上查看仓库大小

1. 安装或更新 Hugging Face 下载客户端。
2. 下载这个仓库，或者只下载你需要的层文件夹。
3. 在 sae-64k 下选一个层文件夹，并对照 sha256 列表检查其中的文件。
4. 如果使用 64k 扫描，就给 SAE 输入原始激活。

pip install -U huggingface_hub
hf download alxcspr/stationhouse

如何使用：你加载某一层的最终检查点，并让 Marin-32B 的激活通过它。这里可见的模型卡文字没有给出代码，所以请使用你自己的 SAE 加载代码。64k 扫描需要原始激活，警告里有说明。

工具 | 作用
stats.json | 某一层的训练统计数据
val_log.jsonl | 验证日志，使用约 192 万行的末尾留出集
train_log.jsonl | 某一层的训练日志
sha256.txt | 某一层文件的校验和
census_uniform.parquet | 行组均匀分布的特征普查
census_prefix.parquet | 取自语料开头的原始普查，为溯源而保留
hf download | 把仓库的文件下载到你的电脑

示例：一位研究人员下载 64k 扫描的第 45 层文件夹，把 Marin-32B 的原始激活送入它的最终检查点。然后阅读验证日志，其中训练器的 val_fvu 是参考数字。模型卡没有给出示例代码。

新手与专家：稀疏自编码器是一种用来查看模型神经元携带哪些特征的工具。可以先把整段模型卡文字读完，尤其是输入约定警告，再下载任何东西。

对熟悉这个领域的读者来说，每一层都有一个 TopK SAE，用平台期提前停止和最佳验证检查点训练，每层大约需要 44 到 75 分钟。在 64k 扫描中，读取层标签时的一个错误导致每神经元的缩放从未生效，所以训练和验证用的是原始激活。32k 系列则使用了每神经元缩放。

选择一个层文件夹
检查 sha256 列表
为 64k 准备原始激活
运行 TopK SAE
读取特征和 val_fvu

注意事项：

• 输入约定：32k 和 64k 检查点期望不同的输入，所以在统一之前不要跨宽度比较 fvu。
• 有效的比较：在同一宽度系列内，验证对验证、普查对普查依然成立。
• 带标记的文件：名字里带 scaled_ARTIFACT 的文件衡量的是归一化不匹配，而不是模型质量。
• 宽度选择：128k 探测被停止了，完整扫描采用了 64k。

Title: 128k 探测的验证增益中位数与门槛对比
128k probe median gain: 0.0044
Bar to continue: 0.02

• License: Apache 2.0。
• Cost to run: 未提及。
• Data it reaches: 你下载的文件。这里的文字没有提到联网使用。
• Not for: 跨宽度的 fvu 比较，模型卡称在统一约定之前这种比较无效。

Hugging Face 上的数据（2026年11月13日）

• 最近 30 天下载：0
• 点赞：3
• 许可证：apache-2.0

链接

• 模型：https://huggingface.co/alxcspr/stationhouse
• 文件：https://huggingface.co/alxcspr/stationhouse/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download alxcspr/stationhouse

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。