来自 GitHub 的 AI 项目

MiniCPM-V 端侧多模态模型

OpenBMB · 工具包

OpenBMB 的开源多模态模型。MiniCPM-V 4.7 能读图片、文档和视频，MiniCPM-o 4.5 还能听、能说。安装说明涵盖 Transformers、Ollama、llama.cpp、vLLM、SGLang、托管 API 和手机应用。

bitnet.cpp 1 比特推理框架

microsoft · 工具包

微软官方的 1 比特大模型推理框架，基于 llama.cpp。它能在 x86 和 ARM CPU 上运行 BitNet b1.58 这类三值模型，也有 GPU 内核。这份说明涵盖 Windows、Linux、GPU 内核和嵌入模型的安装步骤。