Qwen3-0.6B-Base

Qwen3-0.6B-Base

提供 Qwen3-0.6B-Base，这是 Qwen3 系列里小型的预训练基础模型，用 119 种语言训练，上下文 32k。适合要微调或研究微型语言模型的开发者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3-0.6B-Base 是 Qwen 的 Qwen3 系列里最小的基础模型。它约有 0.6B 参数，只经过预训练阶段，所以没有针对聊天做过调整。模型卡把这个系列描述为稠密模型和混合专家模型。

模型卡称 Qwen3 在 36 万亿个 token、119 种语言上预训练，语言覆盖是 Qwen2.5 的三倍。训练分三个阶段，从广泛的语言和知识，到推理，再到最长 32k token 的长上下文。

适合谁：它适合想要一个微型语言模型来微调、验证想法，或在普通硬件上运行的开发者和研究者。

行业 | 谁在用 | 怎么用 | 例子
研究 | 机器学习研究者 | 研究小型预训练模型 | 探究它如何续写文本
软件 | 开发者 | 从小型基础模型开始做定制模型 | 用自己的数据微调它
教育 | 学生 | 学习语言模型怎么训练和运行 | 在笔记本上运行它
边缘项目 | 设备开发者 | 为有限硬件测试小模型 | 检查内存占用

如果你想要马上能聊天、能遵循指令的模型，可以跳过它，去找指令版本。

用在哪里：它通过 Python 里的 Hugging Face transformers 库在 Windows、macOS 或 Linux 上加载。BF16 权重约 1.2 GB。

• 带 transformers 库的 Python
• 笔记本 CPU 或小型 GPU
• 以基础模型为起点的微调脚本

用途 | 谁 | 得到什么
文本续写 | 研究者 | 接着你的提示词写下去的文本
微调基础 | 开发者 | 定制模型的小型起点
小模型测试 | 学生 | 一个能快速运行和检查的模型

如何设置：你需要带 pip 的 Python、PyTorch 和较新的 transformers。模型卡说，transformers 低于 4.51.0 时会看到 qwen3 的 KeyError。

• 带 pip 的 Python
• PyTorch 和 4.51.0 或更新的 transformers
• BF16 权重约需 1.2 GB 磁盘空间

1. 安装 Hugging Face hub 包。
2. 下载模型文件，或让 transformers 自动获取。
3. 如果看到 qwen3 的错误，就更新 transformers。

pip install -U huggingface_hub
hf download Qwen/Qwen3-0.6B-Base

如何使用：你用 transformers 加载分词器和模型，给它一些起始文本，再读它生成的内容。模型卡没有给出代码，所以请按 transformers 文档来加载因果语言模型。

示例：你给模型一句话的开头或一小段文字。它会接着续写，因为基础模型预测的是下一步内容，而不是像聊天助手那样回答。

新手与专家：如果你是新手，先在一个短脚本里加载它，给它一句话让它续写。想要聊天的感觉，就改用指令模型。

如果你懂这个领域，模型有 28 层，采用 16 个查询头和 8 个键值头的分组查询注意力，上下文为 32,768 个 token。模型卡提到整个系列使用 qk layernorm，并采用三阶段预训练方案。

加载分词器和模型
给它起始文本
它预测下一个 token
读取续写的文本

注意事项：模型卡称非嵌入参数约 0.44B。关于基准、硬件需求和推理速度，它指向一篇博客和文档。

• License: apache-2.0
• Cost to run: 未提及费用
• Data it reaches: 你下载的文件，以及你给它的文本
• Not for: 聊天或遵循指令，因为这是预训练阶段的基础模型

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：596M
• Weights: about 1.2 GB in BF16; about 298 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：583,156
• 点赞：225
• 许可证：apache-2.0
• Quantized versions: 101
• Fine-tunes: 771
• 标签：transformers, safetensors, qwen3, text-generation, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen3-0.6B-Base
• 文件：https://huggingface.co/Qwen/Qwen3-0.6B-Base/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen3-0.6B-Base

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。