all-mpnet-base-v2
sentence-transformers · 工具包
把句子和段落变成 768 个数字组成的向量,用来按含义搜索、聚类和比较文本,适合处理英文的开发者和数据团队。
展示语言模型在中间层倾向于说出哪些词。这是为六个开源模型准备的透镜文件,适合想检查隐藏状态的可解释性研究人员。
J++ Lenses 是一款工具包,属于研究类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download koayon/jpp-lenses
一套用于研究语言模型的工作区透镜文件,随一篇关于 Jacobian 过滤的研究论文发布。透镜取出某个中间层的隐藏状态,显示模型倾向于说出哪些词元。它为每一层使用一个线性映射,再接上模型自己的反嵌入步骤。
研究大语言模型内部运行方式的研究人员,以及想检查模型中间推测的工程师。你需要熟悉 Python 和 PyTorch。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 学术研究 | 可解释性研究人员 | 读出所支持模型的中间层状态 | 追踪某个概念最早出现在哪一层 |
| AI 实验室 | 模型分析团队 | 比较不同模型在各个深度上倾向的内容 | 并排查看 Qwen 和 Gemma 的读出结果 |
| 教育 | 学习模型内部机制的学生 | 在一个小提示词上复现论文的读出 | 在某一层上运行快速入门的提示词 |
| 模型审查 | 审计人员 | 检查某个回答背后的隐藏状态 | 追问回答为什么和更早层的读出不同 |
如果你只是和模型聊天,或者你的模型不在这六个之列,可以跳过它。
| Use case | Who | What they get back |
|---|---|---|
| 把某一层的隐藏状态读成词元 | 研究人员 | 透镜的 logits,以及模型自己的 logits |
| 对比同一提示词的不同层 | 分析人员 | 你所选各层的读出结果 |
| 对照论文检查结果 | 学生 | 论文读出的同一批层 |
pip install -U huggingface_hub hf download koayon/jpp-lenses
from workspace_lens import get_hf_model
from workspace_lens.lenses.base_lens import BaseLens
lens = BaseLens.from_pretrained("koayon/jpp-lenses", filename="qwen3.6-27b/lens.pt")
model = get_hf_model("Qwen/Qwen3.6-27B", attn_implementation="sdpa")
lens_logits, model_logits, input_ids = lens.apply(
model, "Fact: The number of legs on the animal that spins webs is",
layers=[16, 32, 48], token_positions_for_residuals=[-1],
)加载一个透镜和它的基础模型,然后用一个提示词和你想读取的层调用 apply。你会拿到透镜的推测和模型自己的 logits。发布的代码里还有一个快速入门脚本,会针对你给的提示词显示每一层排名最靠前的词元。
| Tool | What it does |
|---|---|
| BaseLens.from_pretrained | 从仓库加载一个透镜文件 |
| get_hf_model | 加载透镜所拟合的基础模型 |
| lens.apply | 返回所选层的透镜 logits、模型 logits 和输入 id |
在论文第一张图的提示词上,也就是问人类心脏有几个腔室,透镜在第 24 层及之后的层里,已经把 heart、cardiac 和 心脏 当作它的推测。模型自己的回答是数字 4。你能看到这个概念在最终回答之前就已出现在中间层。
语言模型通过很多层来生成回答,透镜让你偷看中间的那些层。第一次尝试可以用上面的代码,在 Qwen3.6-27B 的透镜上读取第 16、32 和 48 层。
如果你熟悉这个领域:每一层都有一个 Jacobian,把它的残差流映射到最后一个模块。一个有 8 个簇的 k-means 路由器把每个位置分给一个专家 Jacobian,这些专家用带符号的权重组合,权重按 recall at 10 调整。论文在每个模型上读取七个等间隔的深度,例如 Qwen3.6-27B 的第 8、16、24、32、40、48 和 56 层。
不同模型的 recall at 10 各不相同。Gemma 4 31B 的数字不包含诗歌任务,所以没有放进图表。
展示语言模型在中间层倾向于说出哪些词。这是为六个开源模型准备的透镜文件,适合想检查隐藏状态的可解释性研究人员。
由 koayon 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:一套用于研究语言模型的工作区透镜文件,随一篇关于 Jacobian 过滤的研究论文发布。透镜取出某个中间层的隐藏状态,显示模型倾向于说出哪些词元。它为每一层使用一个线性映射,再接上模型自己的反嵌入步骤。
适合谁:研究大语言模型内部运行方式的研究人员,以及想检查模型中间推测的工程师。你需要熟悉 Python 和 PyTorch。
Industry | Who uses it | How they use it | Example
学术研究 | 可解释性研究人员 | 读出所支持模型的中间层状态 | 追踪某个概念最早出现在哪一层
AI 实验室 | 模型分析团队 | 比较不同模型在各个深度上倾向的内容 | 并排查看 Qwen 和 Gemma 的读出结果
教育 | 学习模型内部机制的学生 | 在一个小提示词上复现论文的读出 | 在某一层上运行快速入门的提示词
模型审查 | 审计人员 | 检查某个回答背后的隐藏状态 | 追问回答为什么和更早层的读出不同
如果你只是和模型聊天,或者你的模型不在这六个之列,可以跳过它。
用在哪里:
Use case | Who | What they get back
把某一层的隐藏状态读成词元 | 研究人员 | 透镜的 logits,以及模型自己的 logits
对比同一提示词的不同层 | 分析人员 | 你所选各层的读出结果
对照论文检查结果 | 学生 | 论文读出的同一批层
如何设置:
pip install -U huggingface_hub
hf download koayon/jpp-lenses
from workspace_lens import get_hf_model
from workspace_lens.lenses.base_lens import BaseLens
lens = BaseLens.from_pretrained("koayon/jpp-lenses", filename="qwen3.6-27b/lens.pt")
model = get_hf_model("Qwen/Qwen3.6-27B", attn_implementation="sdpa")
lens_logits, model_logits, input_ids = lens.apply(
model, "Fact: The number of legs on the animal that spins webs is",
layers=[16, 32, 48], token_positions_for_residuals=[-1],
)
如何使用:加载一个透镜和它的基础模型,然后用一个提示词和你想读取的层调用 apply。你会拿到透镜的推测和模型自己的 logits。发布的代码里还有一个快速入门脚本,会针对你给的提示词显示每一层排名最靠前的词元。
Tool | What it does
BaseLens.from_pretrained | 从仓库加载一个透镜文件
get_hf_model | 加载透镜所拟合的基础模型
lens.apply | 返回所选层的透镜 logits、模型 logits 和输入 id
示例:在论文第一张图的提示词上,也就是问人类心脏有几个腔室,透镜在第 24 层及之后的层里,已经把 heart、cardiac 和 心脏 当作它的推测。模型自己的回答是数字 4。你能看到这个概念在最终回答之前就已出现在中间层。
新手与专家:语言模型通过很多层来生成回答,透镜让你偷看中间的那些层。第一次尝试可以用上面的代码,在 Qwen3.6-27B 的透镜上读取第 16、32 和 48 层。
如果你熟悉这个领域:每一层都有一个 Jacobian,把它的残差流映射到最后一个模块。一个有 8 个簇的 k-means 路由器把每个位置分给一个专家 Jacobian,这些专家用带符号的权重组合,权重按 recall at 10 调整。论文在每个模型上读取七个等间隔的深度,例如 Qwen3.6-27B 的第 8、16、24、32、40、48 和 56 层。
某一层的隐藏状态
每层一个线性映射
最终层空间
模型的反嵌入
可读的词元
注意事项:不同模型的 recall at 10 各不相同。Gemma 4 31B 的数字不包含诗歌任务,所以没有放进图表。
Title: 各基础模型的 Recall@10,单位为百分比
Qwen3.6-27B: 55.2 %
Qwen3.5-9B: 55.0 %
Olmo-3-1125-32B: 50.0 %
Qwen3.5-122B-A10B: 48.4 %
DeepSeek-V4-Flash: 61.4 %
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download koayon/jpp-lenses
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
sentence-transformers · 工具包
把句子和段落变成 768 个数字组成的向量,用来按含义搜索、聚类和比较文本,适合处理英文的开发者和数据团队。
intfloat · 工具包
把约 100 种语言的文本变成向量,让你能跨语言比较含义,用于搜索和匹配。适合构建多语言检索的开发者。
aldegad · 技能
把一张角色底图做成可直接进游戏的精灵图,输出带清单的图集或透明动作循环,适合在 Codex 或 Claude Code 里做游戏的开发者。
elmresearchcenter · 工具包
在同一个基准上比较支持阿拉伯语方言的开源语音识别模型,适合需要选择或研究阿拉伯语 ASR 模型的人。
imbad0202 · 技能
用 Claude Code 技能带你完成从规划到发表的学术研究,每个阶段都等你确认,并带有完整性检查和可选的引用审计。
gaia-benchmark · 工具包
展示围绕 GAIA 数据集建立的排行榜,让人们在同一个基准上比较 AI 系统。这是 gaia-benchmark 团队的 Gradio 应用。