Qwen3.5-9B GGUF (ShapeLearn)

Qwen3.5-9B GGUF (ShapeLearn)

Qwen3.5-9B 的 GGUF 副本，这个模型能读文字和图像，用 ByteShape 的 ShapeLearn 压缩，面向 llama.cpp。有 GPU 和 CPU 的版本，大小约从 3 GB 到 5.7 GB。

由 byteshape 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3.5-9B GGUF 是 Qwen3.5-9B 的一组量化副本，这是一个能处理文字和图像的 9B 模型。ByteShape 用 ShapeLearn 制作了它们，ShapeLearn 会为每个张量学习最合适的数据类型，所以位数很低时质量也能保持。有适用于 GPU 和 CPU 的版本。

适合谁：它适合在 llama.cpp 里本地运行具备视觉能力的模型、想要一个适合自己 GPU 或 CPU 的大小的人。模型卡给出了选择文件的简单规则。

Title: 谁在用
Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 通过 llama.cpp 在本地提供视觉模型 | 用一个模型标签启动 llama-server
AI 工具 | 本地模型用户 | 为 GPU、CPU 或小型开发板选一个大小 | 给小显卡选一个 3 GB 的文件
研究 | 工程师 | 比较不同大小的质量和速度 | 对照 Unsloth 基线阅读模型卡的图表

使用 Ollama 的人暂时可以跳过它，因为模型卡说 Ollama 不支持这个模型的 GGUF 文件。

用在哪里：

• llama.cpp，通过 llama-server
• LM Studio，模型卡建议使用
• 服务运行后，在 localhost 上的网页界面
• Windows、macOS 或 Linux

Title: 主要用途
Use case | Who | What they get back
本地聊天 | 个人用户 | 自己机器上 9B 模型给出的回复
关于图像的问题 | 开发者 | 通过视觉投影器，利用图片得出的答案
选择大小 | 本地模型用户 | 大小和速度适合自己硬件的文件

如何设置：

• 你电脑上的 Python，用于下载
• huggingface_hub 包
• 已安装的 llama.cpp
• 足够容纳所选文件的内存，约从 3 GB 起

1. 安装 Hugging Face 的 hub 包。
2. 下载这些文件，或者跳过这一步，让 llama.cpp 在首次运行时自己拉取一个。
3. 从下面的表格里选一个大小。
4. 用该文件的模型标签启动 llama-server。

pip install -U huggingface_hub
hf download byteshape/Qwen3.5-9B-GGUF

Title: 按大小排列的 GPU 文件
Model ID | Bits per weight | File size
GPU-1 | 2.81 | 3.15 GB
GPU-2 | 3.00 | 3.37 GB
GPU-3 | 3.15 | 3.53 GB
GPU-4 | 3.60 | 4.04 GB
GPU-5 | 4.20 | 4.71 GB
GPU-6 | 4.43 | 4.97 GB
GPU-7 | 5.10 | 5.72 GB

如何使用：复制一个模型标签，交给 llama-server。视觉投影器会在第一次运行时与模型一起下载。之后服务会在 localhost 上提供网页界面。

llama-server -hf <MODEL_TAG> --mmproj-auto

标签的格式如下，以第一个 GPU 文件为例。

byteshape/Qwen3.5-9B-GGUF:Qwen3.5-9B-IQ3_S-2.81bpw.gguf

示例：你为中端显卡选了 GPU-4，用它的标签启动 llama-server，等下载完成。在网页界面里，你附上一张照片，问它拍的是什么。模型会同时利用图片和你的问题来回答。

新手与专家：如果你是新手，选你的内存能容纳的最大文件，因为文件越大保留的质量越多。第一次尝试可以在网页界面里发一张图片和一个简短的问题。

对于专家来说，GPU 文件混合使用 KQ 和 IQ 量化来提升速度，CPU 文件则主要使用 KQ。质量在七个基准上评分，涵盖函数调用、编程、数学和通用知识，包括思考和指令两种模式。模型卡把质量与每秒词元数画在一起，并以 Unsloth 作为基线。

按硬件选一个文件
复制它的模型标签
用这个标签运行 llama-server
在网页界面里聊天或发送图片

注意事项：

• Rule of thumb: 模型卡说，要在你需要的速度下取质量最好的，或者取仍能达到你质量要求的最快文件。
• Ollama: 模型卡说它不支持这个模型的 GGUF 文件。
• Labels: 像 IQ4_XS 这样的名称只描述主要方法和位长。
• License: Apache 2.0。
• Cost to run: 来源未提及。
• Data it reaches: 它从 Hugging Face 下载文件，服务运行在你自己的机器上。
• Not for: Ollama 用户。

Title: 各模型 ID 的 GPU 文件大小
GPU-1: 3.15 GB
GPU-3: 3.53 GB
GPU-5: 4.71 GB
GPU-7: 5.72 GB

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：9B
• Weights: about 4.5 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：3,023
• 点赞：41
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.5-9B
• 标签：transformers, gguf, qwen3.5, byteshape, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/byteshape/Qwen3.5-9B-GGUF
• 文件：https://huggingface.co/byteshape/Qwen3.5-9B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download byteshape/Qwen3.5-9B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。