pplx-decider-flash-gguf-v1.2

pplx-decider-flash-gguf-v1.2

根据你设定的选项给请求分类，支持文本和图像，使用小型决策模型的 Q8_0 GGUF 副本。适合能运行协议 v3 运行时的开发者。

由 perplexity-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 pplx-decider-flash-v1.2 的 GGUF 副本，原模型是 perplexity-ai 的小型文本分类模型。它读取文本请求，可附带图像，并对你给出的选项打分，以回答结构化问题。模型基于 Qwen3.5-4B，由更大的 27B 决策模型蒸馏而来。

适合谁：适合需要给请求分类或打标签，又想让小模型跑在自己硬件上的开发者。它需要支持其专用协议的运行时，所以更适合能自己搭建或改造运行时的人。

行业 | 谁在用 | 怎么用 | 例子
客户支持 | 客服工具开发者 | 把进来的工单分给对应团队 | 接口调用失败的工单交给技术支持
软件团队 | 平台工程师 | 在应用内用固定选项给请求打标签 | 选一个类别，再判断是否紧急
应用 AI | 研究者和爱好者 | 在文本和图像任务上试用更便宜的决策模型 | 与更大的 27B 模型对比

想要聊天助手或文本生成的人可以跳过，因为这个模型只在选项之间做选择。

用在哪里：

• Windows、macOS 或 Linux：下载步骤在这三个系统上都能用 Python 完成。
• 兼容的运行时：任何实现了协议 v3 的程序，因为原版 llama-server 不支持。
• Apple Metal：作者在那里把 Q8_0 文件与 float32 参考结果做了对照。
• Hugging Face：文件托管在那里供下载。

使用场景 | 谁用 | 得到什么
工单分流 | 客服工具开发者 | 每个团队选项的概率，例如账单、技术支持或销售
紧急程度判断 | 应用开发者 | 请求相关的是否问题中，每个答案的概率
带图像的请求 | 处理混合输入的开发者 | 同时依赖文本和附带图像的选项得分

如何设置：

先准备好：

• Python 和 pip，在 Windows、macOS 或 Linux 上。
• 为两个文件留出磁盘空间，5.16 GB 和 672 MB。
• 一个实现了协议 v3 的运行时，因为原版 llama-server 不支持。

1. 用 pip 安装 Hugging Face hub 包。
2. 用 hf 命令下载这个仓库。
3. 在能构建联合提示词并读取选项得分的运行时中加载这些文件。

pip install -U huggingface_hub
hf download perplexity-ai/pplx-decider-flash-gguf-v1.2

基础模型的说明页提到，它自己的仓库是私有的，需要有访问权限的 Hugging Face 令牌。它的 Python 路径需要 Python 3.12 或更新版本，以及一块 CUDA GPU。

如何使用：

你发送一个请求，称为 state，再加一组问题。每个问题带有说明和描述各选项的标准。模型会给每个选项返回一个概率。下面的 Python 来自基础模型的说明页，加载的是基础检查点，不是这些 GGUF 文件。

import sys
from pathlib import Path
from huggingface_hub import snapshot_download

checkpoint = Path(snapshot_download("perplexity-ai/pplx-decider-flash-v1.2"))
sys.path.insert(0, str(checkpoint / "source" / "src"))
from pplx_decider import Decider

decider = Decider.from_pretrained(checkpoint, device="cuda")

Title: 来源中提到的文件和调用
工具 | 作用
decider-flash-v1.2-q8_0.gguf | 8 位主权重加上给选项打分的部分，5.16 GB
mmproj-decider-flash-v1.2-f16.gguf | 用于图像输入的 F16 视觉投影器，672 MB
Decider.from_pretrained | 在 Python 路径中把基础检查点加载到 CUDA 设备上
decide | 接收一个 state 和它的问题，返回一个响应

示例：

一位客户写道，API 密钥更换后，他们的集成返回 401 错误。你问这条请求该由哪个团队处理，选项是账单、技术支持和销售。模型给每个选项返回一个概率，你按最高的那个去处理。

新手与专家：

可以把它看作一个小型分拣助手。你给它一条消息和一个带几个候选答案的问题，它会告诉你每个答案的可能性。先运行那两条下载命令，再读一遍模型说明页，看看问题怎么写，这就是个好的第一步。

学生模型学到的是教师模型完整的概率分布，而不只是它们的答案，几轮训练的结果还通过权重平均合并。在这个 GGUF 里，读出层存放在 output.weight 中，代码 token 之外的位置全为零。全注意力层是非因果的，线性注意力层仍保持因果。运行时在每个标记处读取 logits，除以存储的温度，再做 softmax。代价是用准确度换速度，因为在基础模型的评测中 27B 模型得分更高。

用你的问题构建联合提示词
在一个微批次中计算文本和图像 token
在每个问题标记处读取 logits
除以温度并做 softmax

注意事项：下面的分数来自基础模型，不是这些 GGUF 文件。

Title: 基础模型上的 Decision Index 0.3 总分
Flash，联合请求: 58.88 分
Flash，每个请求一个问题: 60.05 分
pplx-decider-v1.2，联合请求: 68.09 分

• 运行时：原版 llama-server 不支持协议 v3，所以你需要一个兼容的运行时。
• 精度测试：在 Apple Metal 上，Q8_0 文件在 13 个测试问题上的最高概率选项与 float32 运行结果一致。最大概率差为 0.016。
• License: apache-2.0
• Cost to run: 没有提到 API 密钥、账号或付费服务，不过基础模型的 Python 路径需要 CUDA GPU。
• Data it reaches: 你从 Hugging Face 下载的文件，以及你传给模型的文本和图像。
• Not for: 原版 llama-server，或者准确度比速度和成本更重要的工作。

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 框架：gguf
• 参数量：4.8B
• Weights: about 2.4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：11,185
• 点赞：10
• 许可证：apache-2.0
• 基于：perplexity-ai/pplx-decider-flash-v1.2
• 标签：gguf, classification, multimodal, decider, llama.cpp, text-classification, conversational

链接

• 模型：https://huggingface.co/perplexity-ai/pplx-decider-flash-gguf-v1.2
• 文件：https://huggingface.co/perplexity-ai/pplx-decider-flash-gguf-v1.2/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download perplexity-ai/pplx-decider-flash-gguf-v1.2

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。