MNN-Pocket-0.3B-Dec

MNN-Pocket-0.3B-Dec

读取一段文字状态和你的问题，在一次计算里为每个问题从你给的选项中选出答案，并给出各候选项的概率。这是面向开发者的决策模型，不是聊天模型。

由 taobao-mnn 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个决策模型，不是聊天机器人。你给它一段描述情况的文字和几个问题，它在一次前向计算里就能为每个问题从候选项中选出答案并打分。它基于 MNN-Pocket-0.3B，保留原有的主干网络和 lm_head，再外挂一个独立的 LoRA 适配器。

适合谁：它适合需要在应用里给文本分类或分派的开发者，也适合想在小型主干上研究决策头的机器学习工程师。

行业 | 使用者 | 用法 | 例子
客户支持 | 支持工具开发者 | 把每条来信交给合适的团队 | 一条关于鞋码不对的留言会去退换货，而不是账单
软件 | 应用开发者 | 加一个从你定义的选项里挑选的标注步骤 | 按几条标准从一份短名单里选出一个部门
研究 | 机器学习工程师 | 在带适配器的小型主干上研究指针头 | 对比一次前向计算得到的候选项分数

只想聊天或写文字的人可以跳过，因为它不会生成回复。

用在哪里：

• 使用 Transformers 和 PEFT 的 Python 脚本与服务
• 本地 CPU，因为卡片里的示例就是在 cpu 上加载的
• Windows、macOS 或 Linux，用 Python 就能下载文件

使用场景 | 谁用 | 得到什么
分派客户留言 | 支持工具开发者 | 应当处理它的团队，以及每个选项的概率
按你自己的标准给文本打标签 | 应用开发者 | 你定义的每个问题各得到一个选择
检查决策头的表现 | 机器学习工程师 | 一次前向计算得到的候选位置分数

如何设置：

• 装有 pip 的 Python
• 约 723 MB 主干加上小型适配器和决策头所需的磁盘空间
• requirements.txt 里固定的各包版本

1. 安装 Hugging Face 的 hub 客户端。
2. 把模型文件夹下载到你的电脑。
3. 按该文件夹里 requirements.txt 固定的版本安装依赖。
4. 让 base 文件夹留在模型目录里面，因为加载器会拒绝指向目录之外的路径。

pip install -U huggingface_hub
hf download taobao-mnn/MNN-Pocket-0.3B-Dec

如何使用：在你想用的设备上用 from_pretrained 加载文件夹，再用一个状态和一组问题调用 predict。每个问题都有类型、说明和列出候选项的标准。

from inference import PocketDecisionModel

model = PocketDecisionModel.from_pretrained(".", device="cpu", dtype="float32")
result = model.predict(
    state=(
        "The shoes arrived, but they are the wrong size. "
        "I want to send them back for an exchange. "
        "Payment and delivery were fine."
    ),
    questions={
        "department": {
            "type": "choice",
            "instructions": "Which team should handle this customer request?",
            "criteria": {
                "returns": "Returns, exchanges and refunds",
                "billing": "Charges, invoices and payment problems"
            }
        }
    }
)

工具 | 作用
PocketDecisionModel.from_pretrained | 从文件夹加载主干、适配器和决策头，设备和数据类型由你选
predict | 接收一个状态和你的问题，返回各项决策
inference.py | 包含加载器、PocketDecisionModel 接口和命令行界面

示例：你传入一段状态，说鞋子到货但尺码不对、买家想换货，再加一个部门问题，选项是退换货和账单。返回的是这个部门问题的决策，以及两个候选项各自的概率。

新手与专家：你可以把它当成一个分拣员，读一小段说明后挑出一个标签，而不是用来对话的东西。先下载文件夹，在 CPU 上跑卡片里的示例，再换成你自己的文字和选项。

主干是一个仅解码器的 transformer，有 28 层、14 个注意力头和 2 个键值头。秩为 16 的 LoRA 适配器未合并，放在它旁边，一个 float32 的指针头用缩放点积给候选位置打分。因为它是非自回归的，所以不需要逐个生成 token。单次请求最多可容纳 32,768 个 token。

状态和问题输入
主干加 LoRA 适配器读取它们
指针头给每个候选项打分
输出决策和概率

注意事项：

• 输入上限：32,768 个 token，更长的输入会报错而不是被截断
• 体积：主干约 300M 参数（723 MB），适配器 28.7 MB，决策头 1.8 MB
• 语言：中文和英文
• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 模型文件夹和你传入的文字，未提到网络或账号访问
• Not for: 聊天或自由文本，因为它只在你提供的选项里做选择

Hugging Face 上的数据（2026年11月13日）

• 框架：peft
• Formats: Safetensors
• 最近 30 天下载：0
• 点赞：4
• 许可证：apache-2.0
• 语言：en, zh
• 基于：taobao-mnn/MNN-Pocket-0.3B
• Quantized versions: 2
• 标签：peft, safetensors, mnn-pocket, on-device, decision-model, non-autoregressive, lora

链接

• 模型：https://huggingface.co/taobao-mnn/MNN-Pocket-0.3B-Dec
• 文件：https://huggingface.co/taobao-mnn/MNN-Pocket-0.3B-Dec/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download taobao-mnn/MNN-Pocket-0.3B-Dec

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。