Qwen3.5-0.8B Astra Weight Edit

Qwen3.5-0.8B Astra Weight Edit

直接编辑两个权重张量，不经训练，修复 Qwen3.5-0.8B 在思考模式下陷入的重复循环。这是一个小型图文模型，可用于 Transformers、vLLM、llama.cpp 和浏览器。

由 JonathanColetti 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen3.5-0.8B，其中两个权重张量由一个语言模型 GPT-6 Astra 直接编辑，没有做任何训练。这次编辑针对的是基础模型在回答前先思考时可能陷入的重复循环。作者说这个想法来自 MIT CSAIL 的研究者，他只是应用了对方发布的改动，并对照他们的检查点做了核对。

适合谁：在开启思考的情况下使用小型 Qwen3.5-0.8B 模型、想避免无休止重复的开发者，以及对直接编辑权重感兴趣的人。

Industry | Who uses it | How they use it | Example
软件开发 | 开发者 | 在本地运行小型推理模型 | 笔记本上的聊天助手
网页应用 | 前端开发者 | 在浏览器里运行小模型 | 使用 ONNX 文件的 WebGPU 页面
研究 | 可解释性研究者 | 研究权重空间编辑 | 对比编辑后的模型和基础模型
教育 | 学习者 | 看一个微小的改动如何改变行为 | 阅读关于两个被编辑层的说明

如果你运行模型时关闭思考，可以跳过它，因为这次编辑只在开启思考时有帮助。

用在哪里：

• 在 GPU 服务器上用 Python 搭配 Transformers、vLLM 或 SGLang
• 带 WebGPU 的浏览器，或通过 Transformers.js 用 Node.js
• 任何 ONNX Runtime 应用，以及通过 GGUF 文件使用的 llama.cpp、LM Studio、Ollama 或 Jan

Use case | Who | What they get back
逐步推理 | 开发者 | 没有基础模型那种重复循环的回答
浏览器演示 | 网页开发者 | 在 WebGPU 里运行的小模型
笔记本聊天 | 个人用户 | 通过 llama.cpp 或桌面应用使用的本地模型

如何设置：

• 主要路线需要 Python 和 pip
• BF16 约需 1.7 GB 磁盘空间，4-bit 约 437 MB（估算值）
• 开启思考，聊天模板默认会把它关掉，除非你要求开启

1. 安装 Hugging Face hub 工具。
2. 下载模型文件。
3. 在你的运行环境里加载模型并启用思考。

pip install -U huggingface_hub
hf download JonathanColetti/Qwen3.5-0.8B-Astra-WeightEdit

如何使用：把 enable_thinking 设为 true 来开启思考，并使用卡片推荐的采样设置。下面的 Python 示例会问一道数学题并打印答案。

from transformers import AutoModelForImageTextToText, AutoTokenizer
repo = "JonathanColetti/Qwen3.5-0.8B-Astra-WeightEdit"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForImageTextToText.from_pretrained(repo, dtype="bfloat16", device_map="auto")
msgs = [{"role": "user", "content": "What is 17 * 23? Please reason step by step, and put your final answer within \\boxed{}."}]
inputs = tok.apply_chat_template(msgs, add_generation_prompt=True, enable_thinking=True,
                                 return_tensors="pt", return_dict=True).to(model.device)
out = model.generate(**inputs, max_new_tokens=4096, do_sample=True, temperature=0.6, top_p=0.95, top_k=20)
print(tok.decode(out[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True))

要用 vLLM 提供服务，先启动服务器，再在开启思考的情况下发送聊天请求。

vllm serve JonathanColetti/Qwen3.5-0.8B-Astra-WeightEdit
# then send chat requests with: "chat_template_kwargs": {"enable_thinking": true}

Tool | What it does
Transformers、vLLM、SGLang | 在 Python 和 GPU 服务器上运行 bf16 的 safetensors 文件
Transformers.js | 在带 WebGPU 的浏览器或 Node.js 里运行 ONNX 文件
llama.cpp、LM Studio、Ollama、Jan | 在笔记本或 Mac 上运行 BF16 的 GGUF 文件

示例：你让模型在开启思考的情况下，一步步推理 17 乘 23。它逐步算下去，最后给出带框的答案，不会在某个重复的短语上打转。

新手与专家：如果你是新手，运行那段 Python 示例，它只需要 Transformers。记得开启思考，因为关闭思考时，这次编辑没有任何作用。

这次编辑是从 layers 15 和 19 的 mlp.down_proj 权重的 64 个输出列里减去一个循环方向，约 13 万个权重，占模型的 0.016%。其余部分与基础模型逐字节相同。在一次抽查里，ONNX 的 4-bit 版本与 bf16 的下一个 token 只有约 69% 一致，所以请把它们当作有损的。

从 Qwen3.5-0.8B 开始
编辑两个权重张量，不经训练
在聊天模板里开启思考
生成时不再出现重复循环

注意事项：

• 思考：这次编辑只在开启思考时有帮助
• 署名：作者说所有功劳归 MIT CSAIL 的研究者，他与他们、OpenAI 或 Qwen 都没有隶属关系

Title: ONNX 文件中语言模型解码器按数据类型划分的大小，单位 GB
fp32: 3.0 GB
fp16: 1.5 GB
quantized int8: 0.87 GB
q4: 0.48 GB
q4f16: 0.44 GB

• License: apache-2.0
• Cost to run: 没有提到 API 密钥或付费服务，只需要你自己的硬件
• Data it reaches: 下载会取回模型文件，模型会读取你给它的文字和图像
• Not for: 关闭思考时使用，那样编辑没有任何好处

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：873M
• Weights: about 1.7 GB in BF16; about 437 MB at 4-bit (estimate)
• Formats: Safetensors, GGUF
• 最近 30 天下载：3,029
• 点赞：27
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.5-0.8B
• 标签：transformers, onnx, safetensors, gguf, qwen3_5, image-text-to-text, weight-editing, weight-space-programming, qwen3.5, math, transformers.js, llama.cpp

链接

• 模型：https://huggingface.co/JonathanColetti/Qwen3.5-0.8B-Astra-WeightEdit
• 文件：https://huggingface.co/JonathanColetti/Qwen3.5-0.8B-Astra-WeightEdit/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download JonathanColetti/Qwen3.5-0.8B-Astra-WeightEdit

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。