来自 GitHub 的 AI 项目

colibri

JustVugg · 工具包

这是一个分层推理引擎，通过从 NVMe 存储中流式传输专家模型，同时将密集层保留在内存中，从而运行大型混合专家模型。它通过 CUDA 和 Vulkan 为开发者支持多种硬件配置。

VibeVoice 开源语音模型

microsoft · 工具包

微软的开源语音 AI 模型家族。VibeVoice-ASR 一次转写最长 60 分钟的音频，带说话人和时间戳。VibeVoice-Realtime 把流式文字合成语音。这份说明涵盖演示、vLLM 服务器和微调。