MNN-Pocket-0.3B

MNN-Pocket-0.3B

一个约 300M 参数、支持英文和中文的小型指令微调语言模型，与 MNN 推理栈一起设计，面向手机和平板运行。适合构建端侧助手的开发者。

由 taobao-mnn 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：MNN-Pocket-0.3B 来自 taobao-mnn，是 MNN-Pocket 系列中经过调优、能按指令完成通用任务的版本。这个系列是与 MNN 推理栈一起设计的，面向在设备上运行。它约有 300M 参数，支持英文和中文，上下文最长可达 32K 个 token。INT4 的 MNN 版本只占 173 MB。

适合谁：做端侧助手、数据提取和轻量智能体流程的开发者。模型卡不建议把它用在高强度推理的工作上，比如高等数学或长代码生成。

Industry | Who uses it | How they use it | Example
移动应用 | 应用开发者 | 在手机或平板本身上运行助手 | 在设备上回复一条简短的聊天消息
软件 | 数据团队 | 从简短文字里提取细节 | 从一条消息里提取姓名和日期
边缘计算 | 嵌入式团队 | 在轻量智能体流程里使用小模型 | 把请求路由到合适的工具
研究 | 模型调试者 | 从 Base 版本开始微调 | 让它适应一个狭窄的任务

如果你需要很强的推理、长代码或高等数学，可以跳过它，因为模型卡说小模型在这些方面不够好。

用在哪里：

• 在设备上，用 MNN 运行时跑 INT4 版本
• 使用 Transformers 库的 Python
• llama.cpp，使用带 F16、Q8_0 或 Q4_1 文件的 GGUF 版本

Use case | Who | What they get back
端侧助手 | 应用团队 | 在设备上生成的聊天回复
数据提取 | 开发者 | 从文字里提取出的简短结构化细节
快速决策 | 开发者 | 来自 Dec 版本的快速回答，它一次前向传播就回答每个问题

如何设置：

• Python 和 Transformers 库，用于 safetensors 文件
• 约 723 MB 磁盘用于 BF16 权重，这是估计值
• 如果使用 MNN 或 llama.cpp 版本，还需要对应的运行时

1. 安装 Hugging Face hub 软件包。
2. 下载仓库文件。
3. 加载分词器，并用它的聊天模板构建提示词。

pip install -U huggingface_hub
hf download taobao-mnn/MNN-Pocket-0.3B

如何使用：模型使用 ChatML 风格的对话格式。模板以 chat_template.jinja 的形式放在仓库里，模型卡推荐使用 apply_chat_template，这样格式不会出错。

from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("taobao-mnn/MNN-Pocket-0.3B")
text = tok.apply_chat_template(
    [{"role": "system", "content": "You are a helpful assistant."},
     {"role": "user", "content": "Hello!"}],
    add_generation_prompt=True, tokenize=False)

Tool | What it does
apply_chat_template | 根据你的消息，按模型的聊天格式构建提示词
chat_template.jinja | 放在仓库里的模板文件
llmexport | 把 safetensors 文件导出为 MNN 用的其他精度
hf download | 把仓库文件复制到你的电脑

示例：用所示的系统消息和问候语运行这段代码。它会返回每一轮前后都带有起止标记的提示词文本，可以直接交给模型，由模型写出助手的回复。

新手与专家：如果你是新手，运行上面的代码并打印文本，看看一段对话是怎样排给模型的。然后在你自己的代码里把它交给模型。

如果你熟悉这个领域，模型有 28 层，隐藏维度 896，使用分组查询注意力，14 个头和 2 个键值头。词嵌入是共享的，词表有 65,536 项，INT4 版本使用 W4A16 量化感知训练。

你写下聊天消息
聊天模板格式化提示词
0.3B 模型生成回复
你的应用显示或使用回复

Title: iPad Pro M5 使用 Metal 的解码速度
报告的最佳情况: 466 tokens/s
实时目标: 200 tokens/s

注意事项：

• 每秒 466 个 token 是在一台设备上的最佳情况，其他设备上预计会更低。
• 模型卡列出了在约 300M 的模型里，11 个中英文基准的平均分 50.00。
• 这个系列还有 Base、SFT、GGUF、MNN 和 Dec 版本。
• License: apache-2.0。
• Cost to run: 没有提到，只需要你自己的硬件。
• Data it reaches: 你给它的消息。来源没有提到账号或外部服务。
• Not for: 按模型卡所说，不适合高强度推理的工作，比如高等数学或长代码生成。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：362M
• Weights: about 723 MB in BF16; about 181 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：3,397
• 点赞：197
• 许可证：apache-2.0
• 语言：en, zh
• 基于：taobao-mnn/MNN-Pocket-0.3B-Base
• Quantized versions: 7
• Fine-tunes: 1
• 标签：transformers, safetensors, qwen3, text-generation, mnn-pocket, on-device, edge, int4, conversational

链接

• 模型：https://huggingface.co/taobao-mnn/MNN-Pocket-0.3B
• 文件：https://huggingface.co/taobao-mnn/MNN-Pocket-0.3B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download taobao-mnn/MNN-Pocket-0.3B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。