qwen-2.5-0.5b-bam-umoe-wikitext2

qwen-2.5-0.5b-bam-umoe-wikitext2

把 Qwen2.5-0.5B 的 24 层注意力中的 18 层换成混合专家注意力块，再在 WikiText-2 上蒸馏。这是用于研究注意力改造的研究检查点，不是成品聊天模型。

由 tahamajs 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen2.5-0.5B 的一个实验版本，其中 24 层注意力里的 18 层被换成了 NeuralOps 库里的混合专家注意力算子 bam_umoe。随后模型在 WikiText-2 上经过两个阶段的知识蒸馏，以恢复语言能力。它的目的是研究在小模型里重建注意力会发生什么，所以请把它当作研究成果。

适合谁：适合研究高效注意力设计、想要一个这样改造过的具体小模型的机器学习研究者和学生。

行业 | 谁在用 | 怎么用 | 例子
AI 研究 | 架构研究者 | 研究把新注意力算子与原有注意力混合的层布局 | 比较被替换的 18 层和保留的 6 层
模型效率 | 效率工程师 | 测试在紧凑模型里替换注意力 | 测量蒸馏前后的困惑度
教育 | 研究生 | 学习蒸馏如何修复被改动的网络 | 一步步跟着两阶段方案走

如果你需要用来真正聊天或写作的模型，可以跳过它，因为它的困惑度远高于原模型。

用在哪里：它适用于使用 NeuralOps 库的 Python 研究代码，机器需要有足够内存放下 0.5B 模型。

• 带有 NeuralOps 库的 Python，该库提供 bam_umoe 算子
• 测量困惑度的研究笔记本和脚本
• 有 GPU 更好，模型卡是在 24 GB 的 RTX 3090 上测量的

使用场景 | 谁用 | 得到什么
注意力改造研究 | 研究人员 | 一个换了 18 层的可运行模型
困惑度检查 | 学生 | 在 WikiText-2 验证集上的分数
蒸馏练习 | 工程师 | 一份带有阶段预算和步数的参考方案

如何设置：你需要装有 pip 的 Python、作者的 NeuralOps 库，以及约 988 MB 的磁盘空间放 F16 权重。

• 装有 pip 的 Python
• NeuralOps 库，里面有替换用的算子
• 约 988 MB 磁盘空间放权重

1. 安装 Hugging Face 下载工具。
2. 把检查点下载到你的电脑上。
3. 安装 NeuralOps，并按模型卡的说明加载权重。

pip install -U huggingface_hub
hf download tahamajs/qwen-2.5-0.5b-bam-umoe-wikitext2

如何使用：通过 NeuralOps 库加载检查点，它提供替换用的算子，以及把它装进 Qwen 各层的适配器。然后在序列长度为 512 的 WikiText-2 验证集上评估，并与原模型比较。

工具 | 作用
NeuralOps 库 | 提供 bam_umoe 注意力算子
QwenAttentionAdapter | 把新模块装进 Qwen 的注意力位置
WikiText-2 | 提供蒸馏数据和评估划分
教师模型 | 作为参照的原始 Qwen2.5-0.5B

示例：在同一段验证文本上运行这个检查点和原始的 Qwen2.5-0.5B。模型卡报告原模型的困惑度是 15.38，这个模型是 80.85，所以你能看到这次替换付出了多少代价。

新手与专家：注意力是语言模型里让每个词去看其他词的部分。研究者会尝试把它换成更省的设计。这个检查点就是这样的一次实验，做得足够小，方便重复。第一个小尝试，是加载它，并把它的困惑度与原模型比较。

对熟悉这个领域的人来说，每四层里有三层带有替换算子，而第 3、7、11、15、19 和 23 层保留 Qwen 的分组查询注意力作为锚点。每个被替换的层都从教师的投影权重开始。蒸馏对齐隐藏状态，先在骨干冻结的情况下做 121 步，再端到端做 284 步。取舍在于效率和质量，而困惑度仍约为教师的五倍。

以 Qwen2.5-0.5B 作为教师开始
用 bam_umoe 替换 18 层注意力
第一阶段在其余部分冻结时对齐注意力
第二阶段蒸馏整个网络
在 WikiText-2 上测量困惑度

注意事项：模型卡的所有测量都在序列长度为 512 的 WikiText-2 验证集上，用一块 24 GB 的 RTX 3090 完成。

• 恢复：蒸馏把困惑度从替换后立刻的 338,496.47 降到了 80.85。
• 差距：原模型得分 15.38，所以这个检查点比它的来源模型弱得多。
• 打包：权重以完整的 FP16 文件加一个适配器的形式提供。

Title: WikiText-2 困惑度，越低越好
原始 Qwen2.5-0.5B: 15.38 PPL
蒸馏之后: 80.85 PPL
刚替换之后: 338,496.47 PPL

• License: MIT。
• Cost to run: 未提及，来源没有列出 API 密钥、账号或付费服务。
• Data it reaches: 你评估用的文本，以及你下载的检查点和 NeuralOps 代码。
• Not for: 直接替代 Qwen2.5-0.5B，因为它的困惑度高出好几倍。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：neuralops
• 参数量：494M
• Weights: about 988 MB in F16; about 247 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：278
• 点赞：3
• 许可证：mit
• 语言：en
• 基于：Qwen/Qwen2.5-0.5B
• 标签：neuralops, safetensors, qwen2, qwen2.5, attention-zoo, attention-surgery, subquadratic-attention, knowledge-distillation, wikitext-2, sparse, bam_umoe, text-generation

链接

• 模型：https://huggingface.co/tahamajs/qwen-2.5-0.5b-bam-umoe-wikitext2
• 文件：https://huggingface.co/tahamajs/qwen-2.5-0.5b-bam-umoe-wikitext2/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download tahamajs/qwen-2.5-0.5b-bam-umoe-wikitext2

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。