MNN-Pocket-0.3B-Base

MNN-Pocket-0.3B-Base

约 300M 参数的预训练基础语言模型，支持中文和英文，与 MNN 推理引擎一起设计，面向设备端使用，可作为继续训练或微调的起点。

由 taobao-mnn 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：MNN-Pocket-0.3B-Base 是 MNN-Pocket-0.3B 未经加工的预训练版本，MNN-Pocket-0.3B 是一个约 300M 参数的小型语言模型。它与 MNN 推理引擎一起设计，因此可以在设备上运行。

这个检查点没有做指令微调。它只会续写文字，所以适合作为继续预训练或微调的起点。想用于聊天或助手时，模型卡让你改用经过指令微调的 MNN-Pocket-0.3B。

适合谁：想要一个小型中英文基础模型来继续训练的机器学习工程师和研究人员。计划做定制设备端模型的应用团队也适合。

行业 | 谁在用 | 怎么用 | 例子
研究 | 语言模型研究人员 | 用自己的文本继续预训练 | 让基础模型适应某个专业领域
移动与边缘软件 | 设备端应用团队 | 给手机应用起步一个小型定制模型 | 微调基础模型，再转换成 MNN 格式
教育 | 学生 | 学习一个 28 层的紧凑模型是怎么搭的 | 阅读模型细节表，试一试纯文本补全

想要现成聊天助手的人可以略过这个检查点，改用经过指令微调的版本。

用在哪里：

• 装有 Hugging Face transformers 库的 Python
• 设备端应用，通过 MNN 引擎和模型卡列出的部署版本
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

使用场景 | 谁用 | 得到什么
纯文本补全 | 开发者 | 对你给的文字的续写
继续预训练 | 研究人员 | 一个准备好从新文本里学习的基础模型
微调 | 机器学习工程师 | 用于聊天或其他任务的起点模型

如何设置：你需要一个装有 transformers 库的 Python 环境。

• Python 和 pip
• transformers 库
• 约 723 MB 的 BF16 权重所需的磁盘空间

1. 如果想把文件放到磁盘上，先安装 huggingface_hub 包。
2. 用 hf 命令下载模型文件。
3. 按下面的代码用 transformers 加载模型和分词器。

pip install -U huggingface_hub
hf download taobao-mnn/MNN-Pocket-0.3B-Base

如何使用：加载模型和分词器，再给它要续写的文字。模型卡说明这是基础检查点，所以做的是纯文本补全，没有聊天格式。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "taobao-mnn/MNN-Pocket-0.3B-Base"
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", dtype="bfloat16")
tokenizer = AutoTokenizer.from_pretrained(model_id)
# base checkpoint: plain text completion, no chat formatting

模型卡列出了满足其他需求的同系列仓库。

变体 | 是什么
MNN-Pocket-0.3B | 经过指令微调的 BF16 模型，带完整模型卡
MNN-Pocket-0.3B-SFT | 一个监督微调检查点
MNN-Pocket-0.3B-GGUF | 用于部署的 GGUF 版本
MNN-Pocket-0.3B-MNN | 用于 MNN 引擎的 INT4 版本
MNN-Pocket-0.3B-Dec | 一个非自回归决策模型，由 LoRA 适配器加指针头组成

示例：你用上面的代码加载模型，给它一句话的开头，比如 "The three main parts of a computer are"。它会续写这段文字。它不会像聊天助手那样回答，因为它没有经过指令微调。

新手与专家：可以把基础模型看作文本续写器。它读过很多文字，会预测接下来是什么，但没有被教过如何执行请求。第一次尝试可以用上面的加载代码和半句话。

从底层看，它是一个仅解码器的 transformer，用多阶段数据配方训练，每个参数的 token 预算固定。模型卡报告在 11 项基准的基础模型测试集上平均 33.58 分，领先三个规模相近的基础模型。代价是小体量，换不来大模型所拥有的知识量。

属性 | 数值
层数 | 28
隐藏层大小 | 896
注意力 | 14 个头，2 个键值头（GQA）
上下文长度 | 32K
词表大小 | 65,536
精度 | bfloat16

预训练基础模型
继续训练或微调它
转换成 MNN 或 GGUF 部署版本
在设备上运行

注意事项：这是基础检查点，想要聊天机器人时请用经过指令微调的同系列版本。

• 规模：模型卡说约 300M 参数，Hugging Face 的记录统计为 362M
• 权重：BF16 约 723 MB，4-bit 约 181 MB（估算）
• 语言：中文和英文
• License: Apache 2.0
• Cost to run: 没有提到 API 密钥或付费服务
• Data it reaches: 你交给它的文字，以及你从 Hugging Face 下载的模型文件
• Not for: 聊天或助手用途，因为这个检查点没有做指令微调

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：362M
• Weights: about 723 MB in BF16; about 181 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：500
• 点赞：3
• 许可证：apache-2.0
• 语言：en, zh
• Quantized versions: 1
• Fine-tunes: 3
• 标签：safetensors, qwen3, mnn-pocket, on-device, base, text-generation, conversational

链接

• 模型：https://huggingface.co/taobao-mnn/MNN-Pocket-0.3B-Base
• 文件：https://huggingface.co/taobao-mnn/MNN-Pocket-0.3B-Base/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download taobao-mnn/MNN-Pocket-0.3B-Base

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。