Qwen3.5-0.8B-weight-space-programming

Qwen3.5-0.8B-weight-space-programming

用一个小型 Qwen3.5-0.8B 模型一步步解数学题，它的权重由一个 LLM 直接修改，没有经过训练，用来消除重复循环。适合研究人员和想试验权重编辑的人。

由 ML-Intern-lab 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen3.5-0.8B 的一个版本，其中 131,072 个权重被直接修改，没有经过任何训练。一个名为 Astra 的大语言模型读取了权重，发现了重复循环的问题，并重写了两个层中各 64 个输出列。原模型在数学题上会不停重复，直到达到 token 上限，这个修改后的版本基本避免了这种情况。

适合谁：适合研究权重手工修改如何改变模型行为的研究人员，也适合想拿一个小型数学推理模型做实验的开发者。

行业 | 谁在用 | 怎么用 | 例子
研究 | 模型研究人员 | 研究直接修改权重会怎样改变行为 | 在重复循环问题上对比原模型和修改后的模型
教育 | 机器学习教师 | 演示不经训练也能改变模型行为 | 在同一道数学题上并排运行两个模型
软件 | 测试小模型的工程师 | 试用小模型做一步步的数学解答 | 用 vLLM 运行模型卡里的示例提示词

如果你需要的模型不是用来做数学，可以跳过它，因为模型卡只报告了数学测试的结果。

用在哪里：

• 装有 transformers 库的 Python
• vLLM，模型卡用它来运行和测试
• Windows、macOS 或 Linux，你可以用 Python 下载文件
• Hugging Face 上的在线演示 Space，你可以并排看原模型和修改后的模型

用途 | 谁用 | 得到什么
一步步的数学解答 | 学生和开发者 | 一份完整的解题过程，最后把答案放在方框里
循环对比 | 研究人员 | 原模型和修改后的模型在同一道题上的输出
权重修改研究 | 研究人员 | 一个检查点，作者把它的修改作为精确差异公开了

如何设置：

你需要先准备：

• Python
• huggingface_hub 包
• vLLM 和 transformers，如果你想运行模型卡里的示例

1. 安装 Hugging Face hub 包。
2. 把模型文件下载到你的电脑，BF16 格式约占 1.7 GB。
3. 如果打算运行下面的示例，请安装 vLLM 和 transformers。

pip install -U huggingface_hub
hf download ML-Intern-lab/Qwen3.5-0.8B-weight-space-programming

如何使用：在 vLLM 里加载模型，打开思考模式来生成聊天提示词，再按模型卡列出的采样设置生成。模型卡给出了下面这段脚本。

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer

ckpt = "akhaliq/Qwen3.5-0.8B-weight-space-programming"
tok = AutoTokenizer.from_pretrained(ckpt)
llm = LLM(model=ckpt, dtype="bfloat16", max_model_len=34816)

prompt = tok.apply_chat_template(
    [{"role": "user", "content": "What is $2^{10} + 24$?\nPlease reason step by step, and put your final answer within \\boxed{}."}],
    tokenize=False, add_generation_prompt=True, enable_thinking=True)
sp = SamplingParams(n=1, temperature=0.6, top_p=0.95, top_k=20, presence_penalty=1.5,
                    max_tokens=32768, seed=0)
print(llm.generate([prompt], sp)[0].outputs[0].text)

脚本里的检查点写在 akhaliq 账号下，所以请确认你加载的是哪个 id。

工具 | 作用
AutoTokenizer | 加载分词器，把你的消息变成开启思考模式的聊天提示词
LLM | 用 vLLM 以 bfloat16 加载模型，最大长度为 34816
SamplingParams | 设置采样选项，其中包括 32768 个新 token 的上限

示例：你问 2 的 10 次方加 24 等于多少，并让模型一步步推理，把最终答案放在方框里。你应该会看到它的推理过程，最后答案出现在方框中。

新手与专家：模型是一大组叫权重的数字，人们通常靠训练来改变它们。这里是一个 AI 直接改了其中一小部分。想试一下的话，下载文件，运行上面的脚本，然后问示例里那个简单的问题。

这次修改作用在第 15 层和第 19 层 MLP 的 down_proj 矩阵上，各 64 列。作者把它作为精确差异公开了，检查点是用作者的 apply_edit.py 重建的，它会用 sha256 把每个重建的张量和评测过的检查点逐一核对。两个张量都通过了。这是完整的多模态版本，所以视觉部分存在，但文本提示词用不到。模型卡的证据只覆盖 MATH-500。

LLM 读取原模型的权重
它找出重复循环的问题
它修改两个层里的 131,072 个权重
重建这次修改并核对哈希
在 MATH-500 上测试修改后的模型

注意事项：

• 大小：873M 参数，BF16 格式约 1.7 GB
• 结果：模型卡报告在 MATH-500 的 2,000 次生成上达到 51.0%，原模型在 25 题的小测试上是 5.0%

Title: MATH-500 accuracy: 解对题目的比例
原模型小测试: 5.0 %
这个模型: 51.0 %

Title: Cut off at 32k tokens: 没有答完的比例
原模型小测试: 95 %
这个模型: 31.6 %

• License: apache-2.0，基础模型 Qwen3.5-0.8B 也是 Apache 2.0
• Cost to run: 没有提到，不需要 API 密钥或账号。模型卡的测试跑在一块 NVIDIA H200 GPU 上
• Data it reaches: 它会从 Hugging Face 下载模型文件，示例只读取你输入的提示词
• Not for: 数学以外的任务，因为模型卡只报告了 MATH-500 的结果，而且文本提示词用不到视觉部分

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：873M
• Weights: about 1.7 GB in BF16; about 437 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,177
• 点赞：70
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.5-0.8B
• Quantized versions: 2
• Fine-tunes: 1
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, ml-intern, weight-space-programming, conversational

链接

• 模型：https://huggingface.co/ML-Intern-lab/Qwen3.5-0.8B-weight-space-programming
• 文件：https://huggingface.co/ML-Intern-lab/Qwen3.5-0.8B-weight-space-programming/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ML-Intern-lab/Qwen3.5-0.8B-weight-space-programming

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。