Parallel Constrained Decoding for Apple Silicon
harshatheg · 工具包
在 Apple Silicon 上用 MLX 提取结构化字段、路由决策和给文本分类,一次给所有模式字段打分。在 M4 Max 上延迟降低 5.6 到 7.0 倍,JSON 始终有效。
新上架
harshatheg · 工具包
在 Apple Silicon 上用 MLX 提取结构化字段、路由决策和给文本分类,一次给所有模式字段打分。在 M4 Max 上延迟降低 5.6 到 7.0 倍,JSON 始终有效。
errrinn · 工具包
禁用 Simple Wikipedia 中常见的词对之后,用古怪的网络聊天口吻回答。这是一个 4.3B 参数的 Gemma 3 实验,适合好奇约束解码如何改变模型语气的人。