Qwen3.5-0.8B-weight-space-programming-GGUF

Qwen3.5-0.8B-weight-space-programming-GGUF

把 Qwen3.5-0.8B weight-space-programming 模型打包成适用于 llama.cpp 的 GGUF 文件，包括 4 位文本模型和用于图像输入的独立视觉投影文件。

由 NotCherry 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 RikiyaT 的 Qwen3.5-0.8B weight-space-programming 模型的 GGUF 转换版。它只是格式转换，不是新模型，权重也没有改动。里面有两个文件：一个 4 位文本模型，一个用于图像输入的视觉投影文件。

适合谁：它适合用 llama.cpp 在本地运行模型、又想要一个能接收图像的小模型的人。这个模型是做什么用的，要看原模型的卡片。

Industry | Who uses it | How they use it | Example
本地 AI | llama.cpp 用户 | 在配置一般的电脑上运行量化后的文本模型 | 在 llama.cpp 里加载 Q4_K_M 文件
软件 | 测试图像提示词的开发者 | 把文本文件和视觉投影文件配合使用 | 配上对应的投影文件发送图像提示词
研究 | 关注原模型的人 | 在 GGUF 运行环境里试用原检查点 | 看看权重在 llama.cpp 里表现如何

想要原始 safetensors 权重或评测结果的人，应该直接用原模型。

用在哪里：

• Windows、macOS 或 Linux 上的 llama.cpp
• 其他任何能读取 GGUF 文件的工具
• Python，只用来通过 Hugging Face 工具下载文件

Use case | Who | What they get back
文本提示词 | 本地模型用户 | 4 位文本模型的回复
图像提示词 | 开发者 | 带图像的回复，需要用到视觉投影文件

如何设置：

• Python，用于下载命令
• llama.cpp，用来运行 GGUF 文件
• 约 386 MB 的 4 位权重磁盘空间，外加投影文件

1. 安装 Hugging Face hub 软件包。
2. 下载这个仓库里的文件。
3. 让 llama.cpp 指向文本文件，处理图像时再加上投影文件。

pip install -U huggingface_hub

hf download NotCherry/Qwen3.5-0.8B-weight-space-programming-GGUF

如何使用：处理文本提示词时，在 llama.cpp 里运行文本文件。处理图像提示词时，用 --mmproj 选项传入对应的投影文件。卡片没有给出完整的运行命令，其余部分请查看 llama.cpp 的帮助。

Tool | What it does
Q4_K_M 文件 | 存放 4 位文本模型，用 llama.cpp 制作
mmproj 文件 | 存放用于图像输入的 F16 视觉投影文件

示例：你下载这个仓库，在 llama.cpp 里加载 Q4_K_M 文件，用 --mmproj 加上投影文件，然后发送一张图片和一个问题。卡片没有给出示例提示词或输出。

新手与专家：GGUF 是 llama.cpp 这类工具可以加载的文件格式。你可以先下载文件，再用支持 GGUF 的应用打开文本文件。想知道这个模型是做什么的，请读原卡片。

转换从原始的 safetensors 检查点开始，再用 llama-quantize 做 Q4_K_M 量化。视觉投影文件保持 F16，以支持图像输入。作者没有对转换后的文件做评测或质量方面的声明。

原始 safetensors 检查点
用 llama.cpp 转成 GGUF
文本模型量化为 Q4_K_M
视觉投影文件保持 F16

注意事项：

• License: Apache 2.0，继承自原模型。
• Cost to run: 未提及。这些步骤不需要 API 密钥或付费服务。
• Data it reaches: 它从 Hugging Face Hub 下载文件，然后在你自己的 GGUF 工具里本地运行。
• Not for: 判断模型质量。卡片没有对这个转换版做评测声明。
• 记录显示参数量为 773M。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：gguf
• 参数量：773M
• Weights: about 386 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：1,731
• 点赞：3
• 许可证：apache-2.0
• 基于：RikiyaT/Qwen3.5-0.8B-weight-space-programming
• 标签：gguf, qwen3.5, q4_k_m, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/NotCherry/Qwen3.5-0.8B-weight-space-programming-GGUF
• 文件：https://huggingface.co/NotCherry/Qwen3.5-0.8B-weight-space-programming-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download NotCherry/Qwen3.5-0.8B-weight-space-programming-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。