Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
给 Qwen3.8-27B 的一个小型权重修改,附带应用它的脚本,只改动一个矩阵、不需要训练,就能缩短模型在开放式任务上的思考长度。
Qwen3.8-27B Astra stop edit 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install torch safetensors numpy huggingface_hub python apply.py --out ./Qwen3.8-27B-Astra
Qwen3.8-27B Astra stop edit 是对 Qwen3.8-27B 权重的一个很小的改动。它让模型在回答开放式请求前思考的词元更少。模型卡的测试案例是把骑自行车的鹈鹕画成 SVG。这个修改约 20 KB,不涉及训练或微调。
只有一个矩阵被改动,就是最后一层的 MLP 输出。那是 89.1M 个权重,占模型的 0.32%,它们的值变化了 1.4%。
它适合喜欢权重空间实验的研究者和爱好者,也适合运行 Qwen3.8-27B、想让创意任务里的推理更短的人。模型卡称一个 AI 智能体通过对权重做自己的实验找到了这个修改。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 研究 | 机器学习研究者 | 研究直接修改权重而不是训练 | 观察一个方向如何控制停止 |
| 软件 | 开发者 | 降低开放式生成的思考成本 | 用更少的思考词元画一个 SVG |
| 推理调优 | 本地模型用户 | 给自己已经在用的模型打一个小补丁 | 几秒钟重建一个模型文件夹 |
| 教育 | 学习模型内部结构的学生 | 看一个矩阵如何改变行为 | 对比原始模型和修改后的模型 |
如果你需要在数学或代码上有大的收益,可以跳过它。模型卡称在那里思考只是略微变短。
| 用例 | 谁用 | 得到什么 |
|---|---|---|
| 更短的思考 | 模型用户 | 在模型卡的鹈鹕测试上,思考词元约少 40% |
| 准确率不变 | 开发者 | 在数学和代码上是 95.2%,与原始模型相同 |
| 权重空间研究 | 研究者 | 一个可以阅读和复现的单方向修改 |
先准备好下面这些东西。
pip install torch safetensors numpy huggingface_hub python apply.py --out ./Qwen3.8-27B-Astra
脚本下载原始模型,检查要修改的那一个文件,然后重写它。其余文件保持原样,链接或复制过去。如果你已经有原始模型,可以用 model 标志让脚本指向它。
| 工具 | 作用 |
|---|---|
| apply.py | 应用修改并写出输出文件夹 |
| u.npy | 存放修改方向,5,120 个 float32 数字 |
| edit.json | 描述这个修改:目标张量、强度和基础模型版本 |
你用名为 Qwen3.8-27B-Astra 的输出文件夹运行应用命令。几秒钟后,文件夹里就是修改后的模型。你像用原始模型一样加载它,让它把骑自行车的鹈鹕画成 SVG。模型卡报告在这个任务上思考约少 40%。
把它当作一个有趣的实验。想试的话,运行脚本,然后在一个创意提示词上对比修改后的模型和原始模型。
这个方向和结束思考词元的输出头行几乎重合,余弦值是 0.995。修改把最后一层沿着这个信号的推动加倍,所以模型更早决定停止。改得更强反而有害,强度到三倍时准确率降到 44%。鹈鹕测试每边用了 16 次尝试,模型卡称这是个小样本。
给 Qwen3.8-27B 的一个小型权重修改,附带应用它的脚本,只改动一个矩阵、不需要训练,就能缩短模型在开放式任务上的思考长度。
由 jarrodwatts 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Qwen3.8-27B Astra stop edit 是对 Qwen3.8-27B 权重的一个很小的改动。它让模型在回答开放式请求前思考的词元更少。模型卡的测试案例是把骑自行车的鹈鹕画成 SVG。这个修改约 20 KB,不涉及训练或微调。
只有一个矩阵被改动,就是最后一层的 MLP 输出。那是 89.1M 个权重,占模型的 0.32%,它们的值变化了 1.4%。
适合谁:它适合喜欢权重空间实验的研究者和爱好者,也适合运行 Qwen3.8-27B、想让创意任务里的推理更短的人。模型卡称一个 AI 智能体通过对权重做自己的实验找到了这个修改。
行业 | 谁在用 | 怎么用 | 例子
研究 | 机器学习研究者 | 研究直接修改权重而不是训练 | 观察一个方向如何控制停止
软件 | 开发者 | 降低开放式生成的思考成本 | 用更少的思考词元画一个 SVG
推理调优 | 本地模型用户 | 给自己已经在用的模型打一个小补丁 | 几秒钟重建一个模型文件夹
教育 | 学习模型内部结构的学生 | 看一个矩阵如何改变行为 | 对比原始模型和修改后的模型
如果你需要在数学或代码上有大的收益,可以跳过它。模型卡称在那里思考只是略微变短。
用在哪里:
用例 | 谁用 | 得到什么
更短的思考 | 模型用户 | 在模型卡的鹈鹕测试上,思考词元约少 40%
准确率不变 | 开发者 | 在数学和代码上是 95.2%,与原始模型相同
权重空间研究 | 研究者 | 一个可以阅读和复现的单方向修改
如何设置:先准备好下面这些东西。
pip install torch safetensors numpy huggingface_hub
python apply.py --out ./Qwen3.8-27B-Astra
如何使用:脚本下载原始模型,检查要修改的那一个文件,然后重写它。其余文件保持原样,链接或复制过去。如果你已经有原始模型,可以用 model 标志让脚本指向它。
工具 | 作用
apply.py | 应用修改并写出输出文件夹
u.npy | 存放修改方向,5,120 个 float32 数字
edit.json | 描述这个修改:目标张量、强度和基础模型版本
示例:你用名为 Qwen3.8-27B-Astra 的输出文件夹运行应用命令。几秒钟后,文件夹里就是修改后的模型。你像用原始模型一样加载它,让它把骑自行车的鹈鹕画成 SVG。模型卡报告在这个任务上思考约少 40%。
新手与专家:把它当作一个有趣的实验。想试的话,运行脚本,然后在一个创意提示词上对比修改后的模型和原始模型。
这个方向和结束思考词元的输出头行几乎重合,余弦值是 0.995。修改把最后一层沿着这个信号的推动加倍,所以模型更早决定停止。改得更强反而有害,强度到三倍时准确率降到 44%。鹈鹕测试每边用了 16 次尝试,模型卡称这是个小样本。
Title: 模型卡中鹈鹕测试的平均思考词元数
原始模型: 28474 tokens
修改后的模型: 17201 tokens
运行应用脚本
它检查要修改的那一个文件
它重写那个文件并链接其余文件
像原始模型一样加载输出文件夹
注意事项:
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download jarrodwatts/Qwen3.8-27B-Astra-Stop
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Qwen3.8-27B Astra stop edit 本页 | 0 | 11 | — | apache-2.0 | |
| Qwen3.5-0.8B Astra Weight Edit共有 weight-editing · weight-space-programming | 3,029 | 27 | 873M | apache-2.0 | |
| Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF共有 qwen · reasoning | 39,987 | 188 | 4.2B | apache-2.0 | |
| Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF共有 qwen · reasoning | 17,179 | 296 | 34.7B | apache-2.0 | |
| Qwen3.8-Whittle-MoE-27B-MLX-4bit共有 qwen · reasoning | 1,611 | 11 | 26.9B | apache-2.0 | |
| Qwen3.5-0.8B-weight-space-programming-GGUF共有 weight-space-programming | 4,807 | 10 | 752M | apache-2.0 |
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。