来自 GitHub 的 AI 项目

colibri

JustVugg · 工具包

这是一个分层推理引擎，通过从 NVMe 存储中流式传输专家模型，同时将密集层保留在内存中，从而运行大型混合专家模型。它通过 CUDA 和 Vulkan 为开发者支持多种硬件配置。

bitnet.cpp 1 比特推理框架

microsoft · 工具包

微软官方的 1 比特大模型推理框架，基于 llama.cpp。它能在 x86 和 ARM CPU 上运行 BitNet b1.58 这类三值模型，也有 GPU 内核。这份说明涵盖 Windows、Linux、GPU 内核和嵌入模型的安装步骤。