Mindket

J++ Lenses

新上架第 1 版 · 更新于

概览

展示语言模型在中间层倾向于说出哪些词。这是为六个开源模型准备的透镜文件,适合想检查隐藏状态的可解释性研究人员。

J++ Lenses 是一款工具包,属于研究类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。

速览

你需要
  • 装有 huggingface_hub 包的 Python
  • 随论文发布的代码,它提供 workspace_lens
  • 放透镜文件的磁盘空间,Qwen3.6-27B 的 fp32 文件为 6.6 GB,另外还要放基础模型本身
用在
  • 使用论文 workspace_lens 代码的 Python 脚本
  • 安装了 Python 的 Windows、macOS 或 Linux
  • 与基础模型一起使用,模型从 Hugging Face 加载
先运行
pip install -U huggingface_hub
hf download koayon/jpp-lenses

平台

Windows操作系统
macOS操作系统
Linux操作系统

关于

它是什么

一套用于研究语言模型的工作区透镜文件,随一篇关于 Jacobian 过滤的研究论文发布。透镜取出某个中间层的隐藏状态,显示模型倾向于说出哪些词元。它为每一层使用一个线性映射,再接上模型自己的反嵌入步骤。

适合谁

研究大语言模型内部运行方式的研究人员,以及想检查模型中间推测的工程师。你需要熟悉 Python 和 PyTorch。

IndustryWho uses itHow they use itExample
学术研究可解释性研究人员读出所支持模型的中间层状态追踪某个概念最早出现在哪一层
AI 实验室模型分析团队比较不同模型在各个深度上倾向的内容并排查看 Qwen 和 Gemma 的读出结果
教育学习模型内部机制的学生在一个小提示词上复现论文的读出在某一层上运行快速入门的提示词
模型审查审计人员检查某个回答背后的隐藏状态追问回答为什么和更早层的读出不同

如果你只是和模型聊天,或者你的模型不在这六个之列,可以跳过它。

用在哪里

  • 使用论文 workspace_lens 代码的 Python 脚本
  • 安装了 Python 的 Windows、macOS 或 Linux
  • 与基础模型一起使用,模型从 Hugging Face 加载
Use caseWhoWhat they get back
把某一层的隐藏状态读成词元研究人员透镜的 logits,以及模型自己的 logits
对比同一提示词的不同层分析人员你所选各层的读出结果
对照论文检查结果学生论文读出的同一批层

如何设置

  • 装有 huggingface_hub 包的 Python
  • 随论文发布的代码,它提供 workspace_lens
  • 放透镜文件的磁盘空间,Qwen3.6-27B 的 fp32 文件为 6.6 GB,另外还要放基础模型本身
  1. 安装 Hugging Face 客户端。
  2. 下载透镜文件。
  3. 获取论文发布的代码,让 workspace_lens 可用。
  4. 在 Python 中加载一个透镜文件和对应的基础模型。
pip install -U huggingface_hub
hf download koayon/jpp-lenses
from workspace_lens import get_hf_model
from workspace_lens.lenses.base_lens import BaseLens

lens = BaseLens.from_pretrained("koayon/jpp-lenses", filename="qwen3.6-27b/lens.pt")
model = get_hf_model("Qwen/Qwen3.6-27B", attn_implementation="sdpa")
lens_logits, model_logits, input_ids = lens.apply(
    model, "Fact: The number of legs on the animal that spins webs is",
    layers=[16, 32, 48], token_positions_for_residuals=[-1],
)

如何使用

加载一个透镜和它的基础模型,然后用一个提示词和你想读取的层调用 apply。你会拿到透镜的推测和模型自己的 logits。发布的代码里还有一个快速入门脚本,会针对你给的提示词显示每一层排名最靠前的词元。

ToolWhat it does
BaseLens.from_pretrained从仓库加载一个透镜文件
get_hf_model加载透镜所拟合的基础模型
lens.apply返回所选层的透镜 logits、模型 logits 和输入 id

示例

在论文第一张图的提示词上,也就是问人类心脏有几个腔室,透镜在第 24 层及之后的层里,已经把 heart、cardiac 和 心脏 当作它的推测。模型自己的回答是数字 4。你能看到这个概念在最终回答之前就已出现在中间层。

新手与专家

语言模型通过很多层来生成回答,透镜让你偷看中间的那些层。第一次尝试可以用上面的代码,在 Qwen3.6-27B 的透镜上读取第 16、32 和 48 层。

如果你熟悉这个领域:每一层都有一个 Jacobian,把它的残差流映射到最后一个模块。一个有 8 个簇的 k-means 路由器把每个位置分给一个专家 Jacobian,这些专家用带符号的权重组合,权重按 recall at 10 调整。论文在每个模型上读取七个等间隔的深度,例如 Qwen3.6-27B 的第 8、16、24、32、40、48 和 56 层。

  1. 某一层的隐藏状态
  2. 每层一个线性映射
  3. 最终层空间
  4. 模型的反嵌入
  5. 可读的词元

注意事项

不同模型的 recall at 10 各不相同。Gemma 4 31B 的数字不包含诗歌任务,所以没有放进图表。

各基础模型的 Recall@10,单位为百分比
Qwen3.6-27B55.2%
Qwen3.5-9B55.0%
Olmo-3-1125-32B50.0%
Qwen3.5-122B-A10B48.4%
DeepSeek-V4-Flash61.4%
  • File format: 每个透镜文件都是用 torch 保存的字典,由 torch 以仅权重模式读回
  • Fitting data: 64 条 WikiText-103 记录,每条 128 个词元
  • License: Apache 2.0,对应模型的透镜文件建立在 Qwen3.6-27B 之上
  • Cost to run: 未提及
  • Data it reaches: 从 Hugging Face 下载的透镜文件和你加载的基础模型,未提及其他
  • Not for: 六个所列模型之外的模型,因为每个透镜只针对一个模型拟合

README 和文件

README

J++ Lenses

展示语言模型在中间层倾向于说出哪些词。这是为六个开源模型准备的透镜文件,适合想检查隐藏状态的可解释性研究人员。

由 koayon 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么:一套用于研究语言模型的工作区透镜文件,随一篇关于 Jacobian 过滤的研究论文发布。透镜取出某个中间层的隐藏状态,显示模型倾向于说出哪些词元。它为每一层使用一个线性映射,再接上模型自己的反嵌入步骤。

适合谁:研究大语言模型内部运行方式的研究人员,以及想检查模型中间推测的工程师。你需要熟悉 Python 和 PyTorch。

Industry | Who uses it | How they use it | Example
学术研究 | 可解释性研究人员 | 读出所支持模型的中间层状态 | 追踪某个概念最早出现在哪一层
AI 实验室 | 模型分析团队 | 比较不同模型在各个深度上倾向的内容 | 并排查看 Qwen 和 Gemma 的读出结果
教育 | 学习模型内部机制的学生 | 在一个小提示词上复现论文的读出 | 在某一层上运行快速入门的提示词
模型审查 | 审计人员 | 检查某个回答背后的隐藏状态 | 追问回答为什么和更早层的读出不同

如果你只是和模型聊天,或者你的模型不在这六个之列,可以跳过它。

用在哪里:

  • 使用论文 workspace_lens 代码的 Python 脚本
  • 安装了 Python 的 Windows、macOS 或 Linux
  • 与基础模型一起使用,模型从 Hugging Face 加载
Use case | Who | What they get back
把某一层的隐藏状态读成词元 | 研究人员 | 透镜的 logits,以及模型自己的 logits
对比同一提示词的不同层 | 分析人员 | 你所选各层的读出结果
对照论文检查结果 | 学生 | 论文读出的同一批层

如何设置:

  • 装有 huggingface_hub 包的 Python
  • 随论文发布的代码,它提供 workspace_lens
  • 放透镜文件的磁盘空间,Qwen3.6-27B 的 fp32 文件为 6.6 GB,另外还要放基础模型本身
  1. 安装 Hugging Face 客户端。
  2. 下载透镜文件。
  3. 获取论文发布的代码,让 workspace_lens 可用。
  4. 在 Python 中加载一个透镜文件和对应的基础模型。
pip install -U huggingface_hub
hf download koayon/jpp-lenses
from workspace_lens import get_hf_model
from workspace_lens.lenses.base_lens import BaseLens

lens = BaseLens.from_pretrained("koayon/jpp-lenses", filename="qwen3.6-27b/lens.pt")
model = get_hf_model("Qwen/Qwen3.6-27B", attn_implementation="sdpa")
lens_logits, model_logits, input_ids = lens.apply(
    model, "Fact: The number of legs on the animal that spins webs is",
    layers=[16, 32, 48], token_positions_for_residuals=[-1],
)

如何使用:加载一个透镜和它的基础模型,然后用一个提示词和你想读取的层调用 apply。你会拿到透镜的推测和模型自己的 logits。发布的代码里还有一个快速入门脚本,会针对你给的提示词显示每一层排名最靠前的词元。

Tool | What it does
BaseLens.from_pretrained | 从仓库加载一个透镜文件
get_hf_model | 加载透镜所拟合的基础模型
lens.apply | 返回所选层的透镜 logits、模型 logits 和输入 id

示例:在论文第一张图的提示词上,也就是问人类心脏有几个腔室,透镜在第 24 层及之后的层里,已经把 heart、cardiac 和 心脏 当作它的推测。模型自己的回答是数字 4。你能看到这个概念在最终回答之前就已出现在中间层。

新手与专家:语言模型通过很多层来生成回答,透镜让你偷看中间的那些层。第一次尝试可以用上面的代码,在 Qwen3.6-27B 的透镜上读取第 16、32 和 48 层。

如果你熟悉这个领域:每一层都有一个 Jacobian,把它的残差流映射到最后一个模块。一个有 8 个簇的 k-means 路由器把每个位置分给一个专家 Jacobian,这些专家用带符号的权重组合,权重按 recall at 10 调整。论文在每个模型上读取七个等间隔的深度,例如 Qwen3.6-27B 的第 8、16、24、32、40、48 和 56 层。

某一层的隐藏状态
每层一个线性映射
最终层空间
模型的反嵌入
可读的词元

注意事项:不同模型的 recall at 10 各不相同。Gemma 4 31B 的数字不包含诗歌任务,所以没有放进图表。

Title: 各基础模型的 Recall@10,单位为百分比
Qwen3.6-27B: 55.2 %
Qwen3.5-9B: 55.0 %
Olmo-3-1125-32B: 50.0 %
Qwen3.5-122B-A10B: 48.4 %
DeepSeek-V4-Flash: 61.4 %
  • File format: 每个透镜文件都是用 torch 保存的字典,由 torch 以仅权重模式读回
  • Fitting data: 64 条 WikiText-103 记录,每条 128 个词元
  • License: Apache 2.0,对应模型的透镜文件建立在 Qwen3.6-27B 之上
  • Cost to run: 未提及
  • Data it reaches: 从 Hugging Face 下载的透镜文件和你加载的基础模型,未提及其他
  • Not for: 六个所列模型之外的模型,因为每个透镜只针对一个模型拟合

Hugging Face 上的数据(2026年11月16日)

  • 最近 30 天下载:0
  • 点赞:11
  • 许可证:apache-2.0
  • 基于:Qwen/Qwen3.6-27B
  • 标签:interpretability, workspace-lens, jacobian-lens

链接

  • 模型:https://huggingface.co/koayon/jpp-lenses
  • 文件:https://huggingface.co/koayon/jpp-lenses/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件:

pip install -U huggingface_hub
hf download koayon/jpp-lenses

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。

文件
README.md  6 KB

1 个文件,共 6 KB,以 zip 压缩包下载。

更新内容

  • 第 1 版 · 2026-11-15

评价

还没有评分

写评价

还没有评价。

Mindket 的更多商品

查看 Mindket 的全部商品

all-mpnet-base-v2

sentence-transformers · 工具包

把句子和段落变成 768 个数字组成的向量,用来按含义搜索、聚类和比较文本,适合处理英文的开发者和数据团队。

新上架

multilingual-e5-base

intfloat · 工具包

把约 100 种语言的文本变成向量,让你能跨语言比较含义,用于搜索和匹配。适合构建多语言检索的开发者。

新上架

sprite-gen

aldegad · 技能

把一张角色底图做成可直接进游戏的精灵图,输出带清单的图集或透明动作循环,适合在 Codex 或 Claude Code 里做游戏的开发者。

新上架4097

研究类的相似商品

查看研究类的全部商品

Open Universal Arabic Asr Leaderboard

elmresearchcenter · 工具包

在同一个基准上比较支持阿拉伯语方言的开源语音识别模型,适合需要选择或研究阿拉伯语 ASR 模型的人。

新上架

用 Claude Code 技能带你完成从规划到发表的学术研究,每个阶段都等你确认,并带有完整性检查和可选的引用审计。

新上架57.1k

GAIA Leaderboard

gaia-benchmark · 工具包

展示围绕 GAIA 数据集建立的排行榜,让人们在同一个基准上比较 AI 系统。这是 gaia-benchmark 团队的 Gradio 应用。

新上架