Parallel Constrained Decoding for Apple Silicon

Parallel Constrained Decoding for Apple Silicon

在 Apple Silicon 上用 MLX 提取结构化字段、路由决策和给文本分类，一次给所有模式字段打分。在 M4 Max 上延迟降低 5.6 到 7.0 倍，JSON 始终有效。

由 harshatheg 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个在 Apple Silicon 上基于 MLX 的推理引擎，用于结构化提取、决策路由和分类。它不是逐个词元地写 JSON 答案，而是并行给每个模式字段打分。模型卡报告在 M4 Max 上延迟降低 5.6 到 7.0 倍，模式有效率 100%，每个字段还有一个置信度分数。

适合谁：它适合在 Mac 上把文本变成固定字段的开发者，比如优先级或是否标志。模型卡自己的场景包括欺诈路由、代码安全审计、关税选择和客服分诊。

Title: 谁在用
Industry | Who uses it | How they use it | Example
金融科技 | 风控团队 | 按几个固定字段路由交易 | 4 个字段的欺诈路由
客服 | 客服运营团队 | 把工单分诊到优先级和升级 | 28 个字段的工单分诊
软件 | 安全工程师 | 用固定类别给代码打标签做审计 | 4 个字段的代码安全审计

如果你没有 Apple Silicon Mac，可以跳过它。它需要 MLX。

用在哪里：

• Apple Silicon Mac，从 M1 到 M4 系列
• macOS 14.0 或更新版本，Python 3.10 或更新版本
• 定义枚举和布尔字段模式的 Python 代码

Title: 它能做的事
Use case | Who | What they get back
结构化提取 | 开发者 | 用核实过的字段值构建的有效 JSON
决策路由 | 运营团队 | 每个字段选出一个类别，附带置信度分数
多选项分类 | 数据团队 | 在最多 255 个选项里挑一个

如何设置：

• 运行 macOS 14.0 或更新版本的 Apple Silicon Mac
• Python 3.10 或更新版本
• 克隆到你机器上的项目仓库

1. 克隆项目仓库并进入它的文件夹。
2. 创建虚拟环境并激活它。
3. 安装依赖。

python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

pip install -U huggingface_hub
hf download harshatheg/Qwen-2.5-1B-RLCD

如何使用：
用 StructuredSchema 定义模式，每个字段是枚举或布尔，带描述，枚举最多 255 个选项。把你的文本交给引擎，它一次填完所有字段，并返回每个字段带置信度分数的 JSON。模型卡的基准用的是 4 位的 Qwen2.5-1.5B-Instruct 模型。

Title: 模型卡提到的部分
Tool | What it does
StructuredSchema | 定义输出的字段
FieldDefinition | 描述一个字段、它的类型和选项
enum | 有固定选项列表的字段，最多 255 个
boolean | 是或否的字段

示例：
你给一张客服工单定义两个字段：一个四档的优先级，和一个是否升级的是非字段。你传入一条客户消息。引擎返回填好两个字段的 JSON，每个字段带一个置信度分数，而不是逐个词元地写 JSON。

新手与专家：
如果你是新手，普通模型是一小段一小段地写答案，字段多的表单就会很慢。这个引擎只读一遍文本，同时填满每个字段。第一件小事是用只有一个是非字段的模式试一下。

如果你懂这个领域，它把上下文一次性预填充进 MLX 的 KV 缓存，再广播到各个字段。对每个字段，它只给合法选项的词元 id 打分，并在这个切片上做归一化的 softmax。它用词元树解决共享前缀，并用代码构建 JSON。代价在范围：它适合有限的选项，不适合自由文本。

把上下文预填充一次
把缓存广播给每个字段
每个字段只给合法选项打分
用核实过的值构建 JSON

注意事项：

Title: 相对标准解码的延迟加速
Fintech Fraud Routing: 5.6 times
Code Security Audit: 5.6 times
High-Cardinality Tariff: 5.6 times
Enterprise Support Triage: 7.0 times

• 环境：这些数字来自 Apple Silicon M4 Max，其他芯片上的结果可能不同。
• 有效性：模型卡称 JSON 始终有效，因为它是用代码根据核实过的值构建的。
• 限制：字段只能是布尔值或固定列表里的选项，不是自由文本。
• 演示：模型卡链接了 Hugging Face Spaces 上的并排对比演示。
• License：apache-2.0。
• Cost to run：没有提到 API 密钥、账号或付费服务。
• Data it reaches：一切都在你的 Mac 上运行，你从 Hugging Face 下载文件。
• Not for：自由文本答案和没有 Apple Silicon 的机器。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：mlx
• 最近 30 天下载：0
• 点赞：592
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen2.5-1.5B-Instruct
• 标签：structured-generation, parallel-decoding, constrained-decoding, apple-silicon, classification, json, text-generation

链接

• 模型：https://huggingface.co/harshatheg/Qwen-2.5-1B-RLCD
• 文件：https://huggingface.co/harshatheg/Qwen-2.5-1B-RLCD/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download harshatheg/Qwen-2.5-1B-RLCD

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。