Parallel Constrained Decoding for Apple Silicon
harshatheg · 工具包
在 Apple Silicon 上用 MLX 提取结构化字段、路由决策和给文本分类,一次给所有模式字段打分。在 M4 Max 上延迟降低 5.6 到 7.0 倍,JSON 始终有效。
写代码、审代码用的提示词、编程智能体任务说明和工具包,花更少的 Token。
harshatheg · 工具包
在 Apple Silicon 上用 MLX 提取结构化字段、路由决策和给文本分类,一次给所有模式字段打分。在 M4 Max 上延迟降低 5.6 到 7.0 倍,JSON 始终有效。
ai-forever · 工具包
一次处理就能对俄语文本做结构化判断:选一个选项、按量表打分、回答是或否,或给候选排序。适合要对俄语消息分类和路由的开发者。
abacusai · 工具包
针对音频、图像或文本的提问,一次前向传播就给出每个选项的概率,不生成文字。这是从 Gemma 4 E4B-it 微调而来的 4B 决策模型。
Poindexter-Labs · 工具包
根据自然语言背景给出结构化决策:从选项中选一个、判断一个是非命题,或按评分标准给一项内容打分。适合构建智能体路由和分类的开发者。
OmniJev · 工具包
针对截图、照片、视频或文字,回答你提的问题,并给出每个选项的概率。适合需要在智能体循环里快速做决定的开发者。
ggml-org · 工具包
通过 llama 服务的 /v1/systemone API 做决策,来自一个 4.2B 模型的 GGUF 副本。适合想要小型本地决策模型的开发者。
mrm8488 · 工具包
一个 272M 的模型,由 EmbeddingGemma 2 微调而来,读取工作流的状态和一份问题模式,并为每个问题返回带有校准置信度的类型化答案。
akhilaaa3 · 工具包
针对文字、图像、音频或视频提出的问题,对你列出的每个选项给出概率,而不是写一段解释。这是基于 Gemma 4 的 12B 分类器,适合需要带分数决策的开发者。
fastino · 工具包
对英文文本按你在调用时传入的任意标签集进行分类,比如意图、路由、情感或紧急程度,一次完成,不需要提示词模板。这是 Fastino 推出的面向运营决策的小型专用模型。
StrandsAgents · 工具包
为智能体流程做快速决策:在选项中挑选,或按等级打分,每个答案都带校准过的置信度。适合做模型路由、选择工具和分流请求的开发者。
openjev · 工具包
针对文本、网页和截图回答带类型的决策,一次前向计算,根据你自己的标签给出选项、是非概率或分数。适合构建分流、审核和浏览器智能体的团队。
Cloudflare · 工具包
把一个状态和一组有类型的问题变成决策,一次返回每个问题每个选项的概率,没有自由文本。这是 Cloudflare 的 9B 多模态模型,面向开发者。
sarvamai · 工具包
针对一段文字提出的问题,一次前向计算就给出每个答案选项的概率。适合需要固定选项决策的团队,比如工单分派,要用大显存的 NVIDIA 显卡。
inclusionAI · 工具包
根据文本状态和命名的问题做有类型的决策,返回选项、是非和有序评分的概率,不生成文字。这是 inclusionAI 的 4.5B 模型,面向开发者。
jmc0 · 工具包
让你和一个小镇里的三个游戏角色对话,它们由一个只下载一次、在浏览器里运行的 4B 模型扮演,每条回复下面都会显示模型做出的决定。
adventists-ai · 工具包
读取一段语音,一次计算就返回关于它的十个判断,如话轮状态、插话和情绪,不做转写。适合语音智能体开发者和语音研究者。