Qwen3.5-0.8B-weight-space-programming

Qwen3.5-0.8B-weight-space-programming

一个由 LLM 在不训练的情况下编辑了两个权重矩阵的 Qwen3.5-0.8B，用来消除它的思考死循环并提升数学能力。这是面向研究人员和小模型用户的实验性模型。

由 RikiyaT 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是权重被一个 LLM 编辑过的 Qwen3.5-0.8B，模型卡把这个 LLM 称为 Astra，整个过程没有梯度下降，也没有训练。Astra 只能让模型前向运行 50 次，用的是数学练习题。它把基础模型的思考死循环，和第 15 层与第 19 层的 MLP 写出的同一个方向联系起来。然后从每层下投影的 64 列里去掉了这个方向。这涉及 131,072 个权重，占整个模型的 0.016%。

适合谁：研究模型编辑的研究人员，以及想要一个能把数学推理做完、而不是陷入循环的 0.8B 小模型的人。

Industry | Who uses it | How they use it | Example
研究 | 模型编辑研究人员 | 研究一种不经训练的编辑 | 对照基础模型检查两个被改动的张量
软件 | 开发者 | 运行一个处理数学提示词的小模型 | 用 vLLM 部署它
教育 | 学生 | 研究思考死循环为什么会出现 | 阅读模型卡对这次编辑的说明

如果你需要广泛且经过验证的质量，可以跳过它，因为模型卡描述的是一个实验，只报告了数学和指令类基准。

用在哪里：

• 使用 vLLM 的 Python，就像模型卡的用法示例那样
• 使用 Transformers 库的 Python，页面列出了这个库
• Hugging Face Spaces 上的托管演示，对比基础模型和编辑后的模型

Use case | Who | What they get back
解数学题 | 开发者 | 通常能在 token 上限内完成的逐步解答
验证编辑 | 研究人员 | 两个被改动张量的校验和相符
测试小模型 | 爱好者 | 一个可以在普通硬件上运行的小模型

如何设置：

• Python 和 Hugging Face 工具
• 如果按模型卡的示例做，需要 vLLM
• 约 1.7 GB 磁盘用于 BF16 权重，这是估计值

1. 安装 Hugging Face hub 软件包。
2. 下载仓库文件。
3. 用模型卡里的设置在 vLLM 里加载模型。

pip install -U huggingface_hub
hf download RikiyaT/Qwen3.5-0.8B-weight-space-programming

如何使用：用分词器的聊天模板构建提示词并开启思考，然后用模型卡的设置采样。模型卡要求逐步推理，并把最终答案放进方框里。

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer

ckpt = "RikiyaT/Qwen3.5-0.8B-weight-space-programming"
tok = AutoTokenizer.from_pretrained(ckpt)
llm = LLM(model=ckpt, dtype="bfloat16", max_model_len=34816)

sp = SamplingParams(n=1, temperature=0.6, top_p=0.95, top_k=20, presence_penalty=1.5,
                    max_tokens=32768, seed=0)
print(llm.generate([prompt], sp)[0].outputs[0].text)

Tool | What it does
LLM | 在 vLLM 里加载模型
SamplingParams | 设置温度、top p、top k 和 token 上限
apply_chat_template | 构建提示词，并开启思考

示例：问它一道简短的算术题，要求逐步推理并把最终答案放进方框。编辑后的模型应该能想清楚并完成，而基础模型往往会一直循环到 token 上限。

新手与专家：如果你是新手，先试托管的演示。在演示里输入一道数学题，对比两个模型怎么处理它。

如果你熟悉这个领域，只有两个张量和基础模型不同，即第 15 层和第 19 层的下投影权重，模型卡给出了它们的校验和。那篇文章评测的是纯文本导出版本，而这个仓库放的是完整的多模态版本，语言模型张量完全相同。

Astra 探查基础模型的思考死循环
它在两层里找到一个方向
把它从输出列里减去
编辑后的模型完成更多的回答

Title: 数学和指令得分，基础模型对比编辑后
MATH-500 基础模型: 7.9 percent
MATH-500 编辑后: 48.1 percent
GSM8K 基础模型: 13.8 percent
GSM8K 编辑后: 67.1 percent
IFEval 基础模型: 21.0 percent
IFEval 编辑后: 62.3 percent

注意事项：

• 按作者的文章，触及 token 上限的回答占比从 93.0% 降到 33.1%。
• 在完整 MATH-500 上的独立复测得分为 51.0%，其中 31.6% 触及上限。
• 这些分数是在思考模式、最多 32,768 个 token 下得到的，所以更短的上限会有差别。
• License: apache-2.0。
• Cost to run: 没有提到，只需要你自己的硬件。
• Data it reaches: 你给它的提示词。来源没有提到账号或外部服务。
• Not for: 来源没有说明。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：873M
• Weights: about 1.7 GB in BF16; about 437 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：4,374
• 点赞：137
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.5-0.8B
• Quantized versions: 5
• Fine-tunes: 2
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, ml-intern, weight-space-programming, conversational

链接

• 模型：https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming
• 文件：https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download RikiyaT/Qwen3.5-0.8B-weight-space-programming

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。