开发者 AI 技能与智能体

Phi-4-mini-instruct

microsoft · 工具包

Microsoft 推出的 3.8B 开放指令模型，上下文 128K token，为内存或延迟紧张时的推理、数学和逻辑而做。适合给应用添加文本功能的开发者。

Chatterbox-Nano

ResembleAI · 工具包

这个 110M 参数的模型在普通 CPU 上朗读英文文本，并能通过文本里的标签加入笑声和咳嗽声。适合需要快速设备端语音、内存和延迟预算都很紧的开发者。

Chatterbox-Flash

ResembleAI · 工具包

一个零样本英语文字转语音模型，能从简短参考片段复制声音，并按块低延迟流式输出音频。适合开发语音助手和旁白工具的开发者。

svd-linear-attention-roberta-base-adasplash

Hooshaai · 工具包

用 AdaSplash 稀疏注意力的 RoBERTa Base 模型对英文文本分类，比如 SST-2 情感，用部分精度换取更低的延迟和显存占用。

roberta-base-fwsvd-rank32

Hooshaai · 工具包

用 Fisher 加权 SVD 以 rank 32 把 RoBERTa Base 压缩到约 82M 参数，对英文文本分类，用部分精度换取更低的延迟和显存占用。

Parallel Constrained Decoding for Apple Silicon

harshatheg · 工具包

在 Apple Silicon 上用 MLX 提取结构化字段、路由决策和给文本分类，一次给所有模式字段打分。在 M4 Max 上延迟降低 5.6 到 7.0 倍，JSON 始终有效。

Voxtral 4B TTS 2603

mistralai · 工具包

Mistral 推出的开放权重文本转语音模型，提供九种语言的 20 个预设声音，支持流式输出，延迟低。适合构建语音智能体、且能接受非商业许可的开发者。

Chatterbox-Turbo

ResembleAI · 工具包

这个 350M 参数的模型为低延迟语音智能体打造，朗读英文文本，并能通过文本里的标签加入笑声和咳嗽声。适合想要快速、有表现力、显存占用更少的语音的开发者。

infersize

prajwalpujari16 · 工具包

一个浏览器工具，在你租用或购买硬件之前，估算 LLM 需要的 GPU 显存，比较 GPU，估算投机解码的延迟，并估算每百万 token 的云成本。