Qwen3.5-4B-Base

Qwen3.5-4B-Base

这是一个只做过预训练的视觉语言基础模型，用于微调和上下文学习实验，不用于直接聊天。适合想用小型 Qwen3.5 作起点并用 LoRA 适配的开发者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3.5-4B-Base 是 Qwen 团队一个小型 Qwen3.5 模型的纯预训练基础版本。它接收图像和文字，带有视觉编码器和因果语言模型，支持 201 种语言和方言。模型卡说它用于微调和研究，不适合直接和它对话。

适合谁：适合想要一个小型开源基础模型来微调或测试的开发者和研究人员，许可证为 Apache 2.0。

Industry | Who uses it | How they use it | Example
研究 | 机器学习研究人员 | 在小型基础模型上做上下文学习实验 | 测试它如何处理提示词里的几个示例
软件 | 开发者 | 用 LoRA 针对一个窄任务微调 | 让它适应读取产品照片
AI 产品 | 模型开发者 | 从基础模型出发做自定义助手 | 用私有数据训练客服助手
教育 | 学生 | 研究视觉语言基础模型的行为 | 比较微调前后的输出

如果你想要现成的对话助手，可以跳过它，因为这个仓库里是基础模型，没有对话所需的指令微调。

用在哪里：模型卡说这些文件能配合多种方案使用。

• Hugging Face Transformers
• vLLM 和 SGLang
• Windows、macOS 或 Linux，下载时需要 Python

Use case | Who | What they get back
LoRA 微调 | 开发者 | 在你的数据上训练出的小适配器
上下文实验 | 研究人员 | 显示基础模型如何跟随示例的续写结果
研究和开发 | 团队 | 新模型的起点

如何设置：你需要 Python 和几 GB 内存。

• 带 pip 的 Python
• 放下权重所需的内存：BF16 精度约 9.3 GB，压缩到 4-bit 约 2.3 GB
• Transformers、vLLM 或 SGLang 这类方案

1. 用 pip 安装 Hugging Face hub 工具。
2. 用 hf 命令下载模型文件。
3. 在 Transformers、vLLM 或 SGLang 里加载。

pip install -U huggingface_hub
hf download Qwen/Qwen3.5-4B-Base

如何使用：在受支持的方案里加载模型，然后对它微调，或者喂提示词做研究。模型卡说明，控制 token im_start 和 im_end 已经训练过，所以用官方聊天模板做 LoRA 式微调时不用改动词嵌入。

示例：你为一个任务准备一小批带标签的样例，用官方聊天模板在这个基础模型上微调一个 LoRA 适配器。适配器叠在基础权重之上，负责处理这个任务。

新手与专家：如果你刚接触基础模型，要知道它是接着文字往下写，而不是礼貌地回答问题。先下载，试一个很短的提示词，正式使用前打算先微调。

如果你熟悉这个领域：语言模型有 32 层，采用 Gated DeltaNet 和 Gated Attention 模块加前馈层的混合布局。隐藏维度为 2560，输出嵌入与词嵌入共享权重。它用多步 MTP 训练。原生上下文为 262,144 个 token。

用 hf 下载文件
在 Transformers、vLLM 或 SGLang 里加载
用 LoRA 微调或测试提示词
使用适配后的模型

注意事项：模型卡说原生上下文是 262,144 个 token，可以扩展到最长 1,010,000。Hugging Face 把大小列为 4.7B 参数，而模型卡把语言模型写成 4B。

Title: 权重大小，单位 GB
BF16: 9.3 GB
4-bit (estimate): 2.3 GB

• License: Apache 2.0
• Cost to run: 未提及，只需要你自己的硬件
• Data it reaches: 你电脑上的模型文件，以及你用来微调的数据
• Not for: 直接交互，因为模型卡说这个基础模型用于微调和研究

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：4.7B
• Weights: about 9.3 GB in BF16; about 2.3 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：556,717
• 点赞：129
• 许可证：apache-2.0
• Quantized versions: 38
• Fine-tunes: 276
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen3.5-4B-Base
• 文件：https://huggingface.co/Qwen/Qwen3.5-4B-Base/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen3.5-4B-Base

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。