Parallel Constrained Decoding for Apple Silicon
harshatheg · 工具包
在 Apple Silicon 上用 MLX 提取结构化字段、路由决策和给文本分类,一次给所有模式字段打分。在 M4 Max 上延迟降低 5.6 到 7.0 倍,JSON 始终有效。
新上架
harshatheg · 工具包
在 Apple Silicon 上用 MLX 提取结构化字段、路由决策和给文本分类,一次给所有模式字段打分。在 M4 Max 上延迟降低 5.6 到 7.0 倍,JSON 始终有效。