MNN-Pocket-0.3B-MNN

MNN-Pocket-0.3B-MNN

通过 MNN 运行时在手机和边缘设备上运行 0.3B 的中英文对话模型，是约 173 MB 的 4 比特版本。适合给移动应用加入设备端助手的开发者。

由 taobao-mnn 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 MNN-Pocket-0.3B 的 MNN 格式导出版本，一个约 3 亿参数、能读写中文和英文的对话模型。它是为在手机或边缘设备上运行而做的，而不是放在服务器上。这个版本是考虑量化训练出的 4 比特权重，整个包大约 173 MB。

适合谁：它适合想在应用里放一个小型语言模型、而且不想让服务器参与其中的移动端和嵌入式开发者。

行业 | 谁在用 | 怎么用 | 例子
移动应用 | Android 和 iOS 开发者 | 加入一个不用服务器也能工作的小型对话模型 | 一个住在应用里面的助手
边缘设备 | 嵌入式工程师 | 在内存很少的硬件上运行文本生成 | 在 CPU 后端上运行演示程序
数据处理 | 应用开发者 | 在设备上从文字里提取字段 | 从一条短消息里提取详细信息
研究 | 推理工程师 | 研究一个 4 比特、3 亿参数的模型在手机芯片上的表现 | 阅读模型卡里的速度和分数结果

如果你需要很强的数学或长代码推理，可以跳过它，因为模型卡说它不适合这类用途。

用在哪里：

• Android、iOS 和 HarmonyOS 应用，通过 MNN LLM API
• 边缘设备
• 装有 CMake 和 make 的电脑，用来构建并试用演示程序
• CPU、Metal 或 OpenCL 后端，在 config.json 里选择

用例 | 谁用 | 得到什么
设备端助手 | 应用开发者 | 在手机上生成的对话回复
数据提取 | 开发者 | 不用联网就从文字里提取出的字段
小型智能体流程 | 智能体构建者 | 在本地运行的轻量模型步骤

如何设置：

• Python 和 Hugging Face 的 hub 包，用来下载文件
• Git、CMake 和 make，用于 MNN 源码
• 与这个导出版本同一修订系列的 MNN 构建，因为不匹配的构建会报 Load module failed 错误
• 模型需要约 173 MB 的空间

1. 安装 hub 包并下载模型文件。
2. 克隆 MNN 源码。模型卡给出了 git 命令，其中带有网址，所以请从那里复制。
3. 用下面第一个代码块里的 cmake 和 make 命令编译源码，它们会打开其中的大模型部分。
4. 用 config.json 的路径和一个写着你提示词的文本文件运行演示程序。

pip install -U huggingface_hub
hf download taobao-mnn/MNN-Pocket-0.3B-MNN

cd MNN
mkdir build && cd build
cmake .. -DMNN_LOW_MEMORY=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true
make -j

如何使用：把你的提示词写进一个文本文件，再用 config.json 的路径运行演示程序。设置都在 config.json 里，所以改设置不需要重新导出。默认构建不带 GPU 后端，想用的话就在 cmake 那一行加上 -DMNN_METAL=ON 或 -DMNN_OPENCL=ON。模型卡推荐温度 0.8、top_p 0.8、top_k 20。

./llm_demo /path/to/MNN-Pocket-0.3B-MNN/config.json prompt.txt

工具 | 作用
llm.mnn | 存放计算图
llm.mnn.weight | 存放 INT4 权重
llm_config.json | 存放模型结构和 ChatML 风格的对话模板
tokenizer.mtok | 存放 MNN 分词器
config.json | 设置后端、线程数、精度、内存模式和采样器

示例：你把一个问题写进 prompt.txt，再针对 config.json 运行 llm_demo。演示程序随后用模型生成一个回复。模型卡没有给出输出，所以预计它会出现在你的终端里。

新手与专家：这个模型小到可以在手机上运行。MNN 是加载并运行这些文件的运行时。第一次可以先在电脑上构建演示程序，运行一条短提示词，再去动移动应用。

从底层看，它是一个只有解码器的 Transformer，有 28 层，隐藏层大小是 896，14 个注意力头共用 2 个键值头。词表有 65,536 项，输入和输出嵌入是绑定的，上下文可达 32K。INT4 权重的分组大小是 64。

文本文件里的提示词
MNN 运行时读取 config.json
INT4 模型在 CPU、Metal 或 OpenCL 上运行
输出回复文字

注意事项：

Title: 512 词元上下文下的解码速度，INT4
iPad Pro M5 on Metal: 466 tok/s
Snapdragon 8 Gen 5 on CPU: 251 tok/s

Title: 11 项基准测试的平均分
BF16: 50.00 points
INT4: 49.59 points

• INT4 版本的平均分比 BF16 低 0.41 分，模型卡把这归功于考虑量化的训练。
• 对话模板放在 llm_config.json 里，由 MNN 运行时自动应用。
• 466 tok/s 是最好的情况，模型卡标注的是最高。
• License: Apache 2.0
• Cost to run: 未提到
• Data it reaches: 未提到，它在设备上运行
• Not for: 高等数学或长周期代码，模型卡不推荐这类用途

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 最近 30 天下载：1,303
• 点赞：6
• 许可证：apache-2.0
• 语言：en, zh
• 基于：taobao-mnn/MNN-Pocket-0.3B
• 标签：mnn-pocket, on-device, int4, text-generation

链接

• 模型：https://huggingface.co/taobao-mnn/MNN-Pocket-0.3B-MNN
• 文件：https://huggingface.co/taobao-mnn/MNN-Pocket-0.3B-MNN/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download taobao-mnn/MNN-Pocket-0.3B-MNN

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。