Laguna-XS.2-jlens

Laguna-XS.2-jlens

收录 Jacobian 透镜文件，用来比较 Laguna-XS-2.1 的 bf16 与 NVFP4 副本，另有与 Laguna-XS.2 的版本对比。适合研究模型内部结构的人。

由 PrimeIntellect 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放的是研究文件，不是聊天模型。它们是在 poolside 的 Laguna-XS-2.1 上拟合的 Jacobian 透镜，这个模型是混合专家模型，约 33B 参数、40 层、256 个专家。一个透镜来自 bf16 检查点，另一个来自它的 NVFP4 孪生版本，所以差异指向专家量化。

适合谁：适合研究量化或新模型版本如何改变模型内部结构的研究者，也适合会读报告、会加载 PyTorch 文件的人。

行业 | 谁在用 | 怎么用 | 例子
AI 研究 | 可解释性研究者 | 比较两种精度下的透镜拟合 | 检查 NVFP4 专家让各层偏移了多少
模型工程 | 量化团队 | 判断 4 位专家格式在模型内部改变了什么 | 在发布量化副本前先读这份 A/B 报告
模型评测 | 评测者 | 比较同一模型的两个版本 | 看 Laguna XS.2 与 XS-2.1 的对比

想和模型聊天或生成文本的人可以跳过，因为这里只有分析文件。

用在哪里：

• PyTorch：透镜文件是 .pt 检查点。
• Python 脚本或笔记本，用来加载和比较透镜。
• 作者的 open-jlens-data 仓库：里面有拟合透镜的代码。
• Windows、macOS 或 Linux：下载步骤在这三个系统上都能用 Python 完成。

使用场景 | 谁用 | 得到什么
量化 A/B | 研究者 | 在同样 200 条提示词上拟合的两个合并透镜
稳定性检查 | 研究者 | 每组八个按 GPU 划分的分片透镜，外加收敛文件
版本对比 | 研究者 | Laguna-XS.2 的另一组拟合，以及与 XS-2.1 的对比

如何设置：

先准备好：

• Python 和 pip。
• PyTorch，用来打开 .pt 文件。
• 可选：open-jlens-data 仓库，里面有拟合和分析代码。

1. 用 pip 安装 Hugging Face hub 包。
2. 用 hf 命令下载这个仓库。
3. 先打开 results 文件夹里的报告。
4. 想比较透镜时，在 PyTorch 里加载透镜文件。

pip install -U huggingface_hub
hf download PrimeIntellect/Laguna-XS.2-jlens

如何使用：

先看 results 文件夹里的报告和汇总文件。再比较两个合并透镜，每种精度一个。分片和收敛文件夹可以让你检查每次拟合有多稳定。xs2 文件夹里是较早的 Laguna-XS.2 的同样拟合。

Title: 说明页提到的文件和文件夹
工具 | 作用
laguna_bf16_jacobian_lens.pt | 来自 bf16 检查点的合并透镜
laguna_nvfp4_jacobian_lens.pt | 来自 NVFP4 孪生版本的合并透镜
shards 文件夹 | 按 GPU 划分的透镜，每个 25 条提示词，两组用同样的提示词
convergence 文件夹 | 记录每个分片拟合收敛情况的 CSV 文件
results 文件夹 | 汇总文件、分析数组、图表和书面报告

示例：

你先打开书面报告，再加载两个合并透镜，逐层比较。说明页称，NVFP4 带来的变化在 1-CKA 尺度上是 0.008，接近提示词噪声带来的 0.007。

新手与专家：

透镜是一种读取模型各层在做什么的工具。这里同一个模型被读了两次，一次是完整精度，一次是压缩过的专家，看压缩有没有改变它的内部结构。一个好的第一步是读报告。

两个透镜用的提示词完全相同，是 wikitext-103 里长度 128 的 200 条，覆盖全部 39 个源层。非专家张量逐位一致，所以差距来自专家量化。从 XS.2 换到 XS-2.1，透镜的变化比 NVFP4 大约 43 倍，但两者的深度结构都保留了下来。

取 200 条相同的提示词
在 bf16 和 NVFP4 上各拟合一个透镜
用 CKA 逐层比较
对照提示词噪声来读差距

注意事项：说明页在同样的提示词上对三种变化来源做了排序，用 1 减 CKA 来衡量。

Title: 相同提示词下的变化，1 减 CKA
提示词噪声: 0.007 units
NVFP4 量化: 0.008 units
模型版本: 0.362 units

• 范围：这些文件覆盖 poolside 的 Laguna XS-2.1 和 Laguna XS.2。
• 注意：说明页称这个结论不一定适用于更大的模型，因为 Laguna 的专家比 Inkling 透镜里的专家小。
• License: apache-2.0
• Cost to run: 没有提到 API 密钥、账号或付费服务。
• Data it reaches: 你从 Hugging Face 下载的文件。拟合用了 wikitext-103 的文本。
• Not for: 聊天、文本生成，或当作模型来运行。

Hugging Face 上的数据（2026年11月13日）

• 最近 30 天下载：0
• 点赞：7
• 许可证：apache-2.0
• Quantized versions: 1
• 标签：interpretability, jacobian-lens, nvfp4

链接

• 模型：https://huggingface.co/PrimeIntellect/Laguna-XS.2-jlens
• 文件：https://huggingface.co/PrimeIntellect/Laguna-XS.2-jlens/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download PrimeIntellect/Laguna-XS.2-jlens

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。