MNN-Pocket-0.3B-GGUF

MNN-Pocket-0.3B-GGUF

用 192 到 726 MB 的 GGUF 文件运行一个紧凑的 0.3B 中英文语言模型，专为手机、笔记本等设备端使用而做，可配合 llama.cpp、LM Studio 或 ollama。

由 taobao-mnn 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：MNN-Pocket-0.3B-GGUF 是 MNN-Pocket-0.3B 的 GGUF 导出版本，后者是 taobao-mnn 的约 300M 参数语言模型。这个系列与 MNN 推理栈协同设计，面向手机、平板、笔记本和智能眼镜。仓库里有三个文件，726 MB 的 F16、387 MB 的 Q8_0 和 192 MB 的 Q4_1，可用于 llama.cpp 以及 LM Studio、ollama 这类运行环境。

适合谁：想要一个非常小的聊天模型，用于设备端助手、数据提取或轻量智能体流程，使用中文或英文的人。

Industry | Who uses it | How they use it | Example
移动应用 | 应用开发者 | 把一个小助手放到设备上 | 手机应用里的聊天助手
数据工作 | 分析师 | 从文字里提取结构化字段 | 从笔记里提取姓名和日期
智能体构建 | 流程开发者 | 在工具链里运行轻量模型 | 一个给请求分派的小步骤
业余项目 | 爱好者 | 在内存很小的机器上试用模型 | 在旧笔记本上聊天

如果你需要高级数学或较长的编程任务，可以跳过它，因为卡片不建议把它用于推理较重的工作。

用在哪里：

• llama.cpp，使用它的 llama-cli 和 llama-server 程序
• LM Studio 和 ollama
• 用 Python 取回文件后，在 Windows、macOS 或 Linux 上使用

Use case | Who | What they get back
设备端聊天 | 应用构建者 | 一个很小的模型给出的简短回答
数据提取 | 分析师 | 从文字里提取出的字段
本地服务器 | 开发者 | 你自己机器上的 OpenAI 兼容接口

如何设置：

• Python 和 pip，用来取回文件
• llama.cpp，用较新的版本，这样聊天模板会自动应用
• 几百 MB 的磁盘空间，取决于你选的文件

1. 安装 Hugging Face hub 工具。
2. 下载模型文件。
3. 用 llama-cli 运行其中一个文件，务必指明文件名，因为仓库里有三个。

pip install -U huggingface_hub
hf download taobao-mnn/MNN-Pocket-0.3B-GGUF

如何使用：用你想要的文件运行 llama-cli。卡片推荐设备端使用 Q4_1 文件。你也可以启动一个本地服务器。

llama-cli -hf taobao-mnn/MNN-Pocket-0.3B-GGUF \
    --hf-file MNN-Pocket-0.3B-Instruct-Q4_1.gguf \
    --temp 0.8 --top-p 0.8 --top-k 20

llama-server -hf taobao-mnn/MNN-Pocket-0.3B-GGUF --hf-file MNN-Pocket-0.3B-Instruct-Q4_1.gguf \
    -c 4096 --port 8080

不指定文件名时，llama.cpp 会选 Q8_0 文件，它不是 Q4_1 版本。用一个简短的标签也能选定文件。

llama-cli -hf taobao-mnn/MNN-Pocket-0.3B-GGUF:Q4_1

Tool | What it does
llama-cli | 在终端里用所选文件聊天
llama-server | 启动带 OpenAI 兼容接口的本地服务器
hf-file 选项 | 按名字从三个文件里选一个

示例：你用 Q4_1 文件运行 llama-cli，并给出提示词 "What is MNN?"。模型在终端里用几句话回答。

新手与专家：如果你刚接触 GGUF，运行 Q4_1 那条命令，问一个简短的问题。它是最小的文件，也是卡片建议用在手机等设备上的那个。

Q4_1 文件是在训练时就把量化放进循环里的，所以它保持了接近 BF16 的准确率，在卡片的 11 项基准平均分上是 49.59 对 50.00。模型是仅解码器的 Transformer，有 28 层、32K 上下文和 65,536 的词表。文件里存有 ChatML 风格的聊天模板。

挑一个文件，小设备用 Q4_1
运行 llama-cli 或 llama-server
聊天模板自动生效
聊天或调用本地接口

注意事项：

• 大小范围：三个文件从 192 MB 到 726 MB
• 局限：和其他不到十亿参数的模型一样，它不适合推理较重的工作

Title: 各版本的文件大小，单位 MB
Q4_1: 192 MB
Q8_0: 387 MB
F16: 726 MB

• License: apache-2.0
• Cost to run: 没有提到 API 密钥或付费服务，只需要你自己的电脑
• Data it reaches: 下载会取回模型文件，聊天留在你的机器上
• Not for: 高级数学和较长的编程任务，卡片说要避开这些

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：362M
• Weights: about 181 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：12,467
• 点赞：20
• 许可证：apache-2.0
• 语言：en, zh
• 基于：taobao-mnn/MNN-Pocket-0.3B
• 标签：gguf, mnn-pocket, on-device, llama-cpp, text-generation, conversational

链接

• 模型：https://huggingface.co/taobao-mnn/MNN-Pocket-0.3B-GGUF
• 文件：https://huggingface.co/taobao-mnn/MNN-Pocket-0.3B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download taobao-mnn/MNN-Pocket-0.3B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。