Mindket
简体中文
English简体中文
登录注册
商店MCP技能计算器学习价格博客
发现
研究312写作59商务95法律13财务33营销175开发1,422效率391教育81陪伴14
帮助与支持
语言
English简体中文

colibri

由 JustVugg 制作工具包开发
新上架第 1 版 · 更新于
GITHUB 热门4当日第 4 名仓库
星标49.1k
点赞

概览

colibri，图片 1
‹1 / 3›
colibri，图片 2
‹2 / 3›
colibri，图片 3
‹3 / 3›

这是一个分层推理引擎，通过从 NVMe 存储中流式传输专家模型，同时将密集层保留在内存中，从而运行大型混合专家模型。它通过 CUDA 和 Vulkan 为开发者支持多种硬件配置。

colibri 是一款 GitHub 上的开源项目，属于开发类，由 Mindket 上架。可免费获取。当前为第 1 版，最近更新于 。按它的 README 从 GitHub 安装。Mindket 的设置说明可在你的 Mindket 账户获取，以 zip 压缩包下载。

速览

你需要
  • 拥有 8 GB 内存的计算机（16 GB 或以上更佳）。
  • 22 GB 可用磁盘空间。
  • 网络连接。
用在
  • 本地机器（Linux、Windows、macOS）
  • 浏览器
  • 连接到 OpenAI 或 Anthropic URL 的应用程序
先运行
git clone https://github.com/JustVugg/colibri.git
cd colibri

平台

Linux操作系统
Windows操作系统
macOS操作系统

关于

它是什么

Colibri 是一个分层推理引擎，能够在消费级硬件上运行大型混合专家（MoE）AI 模型。它将密集模型层保留在内存中，并在模型需要时从磁盘流式传输专家层。

适合谁

适合希望在现有电脑上运行大型模型的所有用户。

用在哪里

  • 本地机器（Linux、Windows、macOS）
  • 浏览器
  • 连接到 OpenAI 或 Anthropic URL 的应用程序

如何设置

  • 拥有 8 GB 内存的计算机（16 GB 或以上更佳）。
  • 22 GB 可用磁盘空间。
  • 网络连接。
  1. 下载 ZIP 文件并解压。
  2. 在 Windows 上运行 START-HERE.bat，或在 Linux/macOS 上运行 ./start-here.sh。
  3. 选择一个模型。
  4. 等待引擎检查硬件、下载模型并启动。

在终端里运行：

# 把项目复制到你的电脑
git clone https://github.com/JustVugg/colibri.git
# 进入项目文件夹
cd colibri

如何使用

你可以通过终端聊天、网页仪表板或 API 服务器与引擎交互。

./coli chat

新手与专家

如果你是新手，可以将该引擎看作模型的图书馆管理员。它将核心组件保存在内存中，并在需要时从磁盘获取特定的专家数据。你可以先运行聊天命令来尝试模型。

对于熟悉 AI 工程的用户，该引擎采用了分层内存策略。它将密集层保持在系统内存中，同时使用缓存从磁盘读取稀疏的专家层。这种做法以初始加载专家模型时的少量延迟为代价，实现了在显存不足的情况下运行大型模型。

注意事项

  • 引擎在 CPU 上运行，显卡可选。
  • 大型模型的性能取决于磁盘读取速度。
  • 这是一款免费且开源的软件。

README 和文件

README

colibri

这是一个分层推理引擎，通过从 NVMe 存储中流式传输专家模型，同时将密集层保留在内存中，从而运行大型混合专家模型。它通过 CUDA 和 Vulkan 为开发者支持多种硬件配置。

由 GitHub 上的 JustVugg 制作。这些说明由 Minda 根据其 README 编写；该项目的自有文件和许可证均在其存储库中。

关于

What it is: Colibri 是一个分层推理引擎，能够在消费级硬件上运行大型混合专家（MoE）AI 模型。它将密集模型层保留在内存中，并在模型需要时从磁盘流式传输专家层。

Who it suits: 适合希望在现有电脑上运行大型模型的所有用户。

Where to use it:

  • 本地机器（Linux、Windows、macOS）
  • 浏览器
  • 连接到 OpenAI 或 Anthropic URL 的应用程序

How to set it up:

  • 拥有 8 GB 内存的计算机（16 GB 或以上更佳）。
  • 22 GB 可用磁盘空间。
  • 网络连接。
  1. 下载 ZIP 文件并解压。
  2. 在 Windows 上运行 START-HERE.bat，或在 Linux/macOS 上运行 ./start-here.sh。
  3. 选择一个模型。
  4. 等待引擎检查硬件、下载模型并启动。

How to use it: 你可以通过终端聊天、网页仪表板或 API 服务器与引擎交互。

./coli chat

For newcomers and experts: 如果你是新手，可以将该引擎看作模型的图书馆管理员。它将核心组件保存在内存中，并在需要时从磁盘获取特定的专家数据。你可以先运行聊天命令来尝试模型。

对于熟悉 AI 工程的用户，该引擎采用了分层内存策略。它将密集层保持在系统内存中，同时使用缓存从磁盘读取稀疏的专家层。这种做法以初始加载专家模型时的少量延迟为代价，实现了在显存不足的情况下运行大型模型。

Good to know:

  • 引擎在 CPU 上运行，显卡可选。
  • 大型模型的性能取决于磁盘读取速度。
  • 这是一款免费且开源的软件。

GitHub 数据，2026 年 11 月 4 日

  • 标星（Stars）: 47,271（当日新增 802）
  • 分支（Forks）: 5,470
  • 关注（Watching）: 378
  • 开启的问题和拉取请求: 169
  • 语言: C
  • 许可证: Apache-2.0
  • 趋势: GitHub 趋势榜当日第 4 名（2026 年 11 月 4 日）

链接

获取代码

git clone https://github.com/JustVugg/colibri.git

然后按照其 README 中的说明进行设置。此工具包中的任何内容均无法独立运行。

文件
README.md  3 KB

1 个文件，共 3 KB，以 zip 压缩包下载。

更新内容

  • 第 1 版 · 2026-11-04

评价

还没有评分

写评价

还没有评价。

大家怎么说

Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论，来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的，也未经核实，点开即可在原帖处阅读。

vfornoShow HN: Getting GLM 5.2 running on my slow computerA few days ago I found myself trying out GLM 5.2 and was really positively impressed. The capabilities and security I was getting from this LLM are similar to those I've gotten from models like Claude or GPT, and this really surprised me. But then I thought, "I wonder how it would work on a normal…937 分 · 240 条回复@antso.eurosky.socialMusím vyskúšať. Veľký model na notebooku 😉 github.com/JustVugg/col...6 赞kzrdudeShow HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/sColibri did that first for GLM-5.2 https://github.com/JustVugg/colibriLéαlinux 🐧github.com/JustVugg/col... Gros Piou-Piou3 赞 · 1 条回复yonatan8070GLM-5.3-FlashSpeaking as someone who isn't really well versed in this, does 18B active parameters mean that you could potentially hold only the 18B parameters in RAM and stream the rest from a fast NVMe SSD for acceptable performance similar to how Colibri works? https://github.com/JustVugg/colibriEdy | Indie BuilderToday's GitHub trending: AI doing the grunt work. - D4Vinci/Scrapling: Python scraping, one request to a full crawl (+1,658 today) - max-sixty/worktrunk: Git worktree CLI for running several AI coding agents (+438) - JustVugg/colibri: big MoE models on your own PC (+802) #buildinpublic #AI2 赞akshay_akulaShow HN: Shoehorn – Quantize any model down to run on your machineThis is interesting. I wonder how it could work with something like https://github.com/JustVugg/colibri.澪公式の計測例を確認すると、GLM-5.2の4ビット版では、常駐部分が9.9GB。一方、モデルの保存に約370GB、会話中のメモリ使用量のピークは約20GBです。 同じ開発機では、キャッシュが効かない状態の生成速度を毎秒約0.05〜0.1トークンと見積もっています。環境やキャッシュで変わる数字です。 https://github.com/JustVugg/colibri/blob/main/docs/benchmarks.md1 条回复wren6991GLM-5.3: Frontier coding with emergent cyber capabilitiesThe thing that blows me away is it does this at one quarter the total parameter count of K3 (and 40% active parameter count). There's plenty of room at the bottom. > How are you all toying with running this kind of thing in a mega quantized way locally? Sure, let me answer that in excessive…GitHub Trending📈 Today's GitHub Trending: 1. https://github.com/thedotmack/claude-mem - TypeScript, 1138 stars today 2. https://github.com/vercel-labs/agent-desktop - Rust, 3792 stars today 3. https://github.com/max-sixty/worktrunk - Rust, 437 stars today 4. https://github.com/JustVugg/colibri - C, 803 stars […]1 赞gitpusher42Show HN: Open-source engine running Gemma 4 26B in 2 GB RAM on any M-series MacCheck for colibri, dwarf star and flash-moe. they do similar things with bigger models https://github.com/JustVugg/colibri https://github.com/antirez/ds4 https://github.com/danveloper/flash-moeGitHub Trending🎉 Celebrating！ 🎉 (500+ new stars) 📦 JustVugg / colibri ⭐ 46,165 (+655) 🗒 C Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦1 条回复

搜索日期

Mindket 的更多商品

查看 Mindket 的全部商品

anaksor-ocr

Sokheng · 工具包

这个模型从文档、收据和路牌照片里读取高棉语和英语文字，用一个检测器找文本行，再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。

新上架

Qwen2.5-7B-Instruct-GGUF

Qwen · 工具包

Qwen2.5-7B-Instruct 的 GGUF 文件，提供八种量化大小，可通过 llama.cpp 在本地聊天。适合想在自己电脑上用 7.6B 强力模型、又不想搭 Python 环境的人。

新上架

ACE-Step 1.5 XL SFT

ACE-Step · 工具包

用 4B 扩散解码器根据文字生成音乐，50 步并带引导控制，音频质量高于基础版。适合拥有 12 GB 或更多显存 GPU 的创作者。

新上架

开发类的相似商品

查看开发类的全部商品

Claude Code Skills & Plugins

alirezarezvani · 技能

为 Claude Code 和其他编程智能体提供 411 个现成技能，按角色分组，从工程、产品到营销、财务和合规。以插件方式安装。适合开发者和业务团队。

新上架29.8k

buzz

block · 工具包

可自行托管的工作空间，人和 AI 智能体在同样的房间里协作，基于 Nostr 中继，把每个动作记录为签名事件。适合想自己运行中继的团队。

新上架37.3k

plannotator

backnotprop · 工具包

把你的 AI 编程智能体的计划、规格和代码改动在浏览器里打开，让你加批注或评论，并把反馈直接发回给智能体。

新上架10.5k