Qwen3.5-0.8B-weight-space-programming-GGUF

Qwen3.5-0.8B-weight-space-programming-GGUF

一个小型 Qwen3.5 0.8B 模型的 GGUF 版本，它的权重被直接修改以减少推理循环。适合想用多种量化大小在本地运行它的人。

由 prithivMLmods 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Qwen3.5-0.8B Weight-Space Programming 的 GGUF 文件，这是一个有 752M 参数的小型多模态模型。基础检查点通过直接修改两个 MLP 层里的 131,072 个权重得到，没有训练或微调。这次修改针对的是模型推理里的循环问题。

适合谁：想在本地运行很小的模型，并研究用权重编辑代替训练的人。

Industry | Who uses it | How they use it | Example
研究 | 机器学习研究者 | 研究不用梯度下降的权重编辑 | 把编辑后的模型和原版 Qwen3.5-0.8B 对比
软件 | 开发者 | 在内存较小的机器上运行小模型 | 在 GGUF 程序里加载 Q4_K_M 文件
教育 | 学生 | 了解量化大小如何在质量和空间之间取舍 | 试 Q4 和 Q8，比较回答

如果你需要大模型，或者你不用 GGUF 程序，可以跳过它。

用在哪里：

• llama.cpp 以及其他能读取 GGUF 文件的程序
• Windows、macOS 或 Linux，下载这一步需要 Python
• 内存较小的机器，使用较小的量化版本

Use case | Who | What they get back
数学推理测试 | 研究者 | 一个模型卡称编辑后在 MATH-500 上有提升的小模型
本地运行 | 开发者 | 在你自己的机器上用 0.8B 模型得到文字回答
图像输入 | 爱好者 | 通过单独的 mmproj 文件使用视觉功能

如何设置：

• 电脑上装有 Python 和 pip
• 能加载 GGUF 文件的程序，比如 llama.cpp
• 一个量化文件，想用图像的话再加 mmproj 文件

1. 安装 Hugging Face hub 软件包。
2. 用 hf 命令下载整个仓库。
3. 从模型卡的列表里选一个量化文件。
4. 打开模型卡查看运行步骤。

pip install -U huggingface_hub
hf download prithivMLmods/Qwen3.5-0.8B-weight-space-programming-GGUF

如何使用：在你的 GGUF 程序里加载一个量化文件，然后输入提示词。要用图像输入的话，再加载 mmproj-bf16 文件。模型卡把 Q4_K_M、Q4_K_S、Q5_K_M、Q5_K_S 和 Q6_K 标为推荐。

Quant | Size and card note
BF16 | 1.52 GB，完整权重，质量最高
Q4_K_M | 529 MB，质量好，多数情况的默认选择
Q6_K | 630 MB，质量高，接近完美
Q8_0 | 812 MB，最大的量化版本，一般不需要
mmproj-bf16 | 207 MB，视觉投影文件

示例：你加载 Q4_K_M 文件，问一个简短的数学题。它会给出一个解题过程。模型卡说原模型常陷入没完没了的推理，这次修改就是为了减少这种情况。

新手与专家：如果你是新手，下载 Q4_K_M，问一道数学题。这是模型卡的默认大小，下载也小。

如果你懂这个领域，先看这次修改动了什么：两个 MLP 层里的 131,072 个权重，视觉部分保持不变。模型卡称 MATH-500 准确率是 51.0%，之前是 5.0%。它还说被截断的回答从 95.0% 降到 31.6%。这些数字是原作者的，来自 H200 上每题生成四次的测试。

Qwen3.5-0.8B 基础模型
直接修改 131,072 个权重
修改后的检查点
用于本地运行的 GGUF 量化文件

注意事项：

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 你下载到电脑上的文件
• Speculative decoding: 模型卡注明不包含 MTP

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 参数量：752M
• Weights: about 376 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：4,807
• 点赞：10
• 许可证：apache-2.0
• 语言：en
• 基于：ML-Intern-lab/Qwen3.5-0.8B-weight-space-programming
• 标签：gguf, activation-steering, llama-cpp, ml-intern, weight-space-programming, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/prithivMLmods/Qwen3.5-0.8B-weight-space-programming-GGUF
• 文件：https://huggingface.co/prithivMLmods/Qwen3.5-0.8B-weight-space-programming-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download prithivMLmods/Qwen3.5-0.8B-weight-space-programming-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。