exo 设备 AI 集群

它是什么

exo 把你的设备连成一个 AI 集群。它的 README 说，exo 能让你运行单台设备装不下的更大模型，再加上发布当天就有的 Thunderbolt 上 RDMA 支持，设备越多，模型跑得越快。每台设备在 52415 端口提供一个仪表盘和一个 API。这个 API 能说 OpenAI Chat Completions、Claude Messages、OpenAI Responses 和 Ollama 这几种格式，所以你已经在用的客户端改一下 base URL 就能接上来。

1. 你在每台设备上安装 exo
2. 同一网络、同一版本的设备会互相发现
3. exo 把模型拆开，分给它看得到的设备
4. 每台设备在 52415 端口提供仪表盘和 API
5. 你的聊天应用或代码向这个地址发请求

适合谁

手上不止一台够用的设备、想跑任何单台都装不下的模型的人，最明显的是几台 Apple 芯片的 Mac。README 里的仪表盘截图展示的是四台 512 GB 的 M3 Ultra Mac Studio。README 说 exo 目前在 Linux 上跑在 CPU 上。贡献指南说代码库还在不断演进，测试目前以手动为主。

用在哪里

exo 能在 macOS 和 Linux 上运行。它的 README 和 API 参考文档列出了下面这些用法。

• 内置仪表盘，地址是 http://localhost:52415，用来管理集群和跟模型聊天
• OpenAI Chat Completions、Claude Messages、OpenAI Responses 和 Ollama 这几组端点，API 参考文档说现有客户端改一下 base URL 就能用
• OpenWebUI 这类工具，通过 Ollama 端点接入
• exo-bench，用来测量预填充和 token 生成的速度
• 通过 /models/add 端点加入的、来自 Hugging Face hub 的自定义模型

如何设置

点“获取”会把一个装有 Mindket 安装说明的 zip 压缩包存进你的下载文件夹，里面有应用、每种源码安装和相关任务各一页，内容取自 exo 的 README、API 参考文档、贡献指南、卸载脚本和 pyproject.toml。在 Mac 上，应用是 README 说最省事的路线。

1. 在 Mac 上下载 EXO-latest.dmg，把 EXO 拖进“应用程序”文件夹并打开。也可以用 Homebrew。
2. macOS 询问时，允许“本地网络”访问，这样 exo 才能找到你的其他设备。
3. 在其他设备上重复这些步骤，设备要在同一网络里，或用 Thunderbolt 线连起来，并确认版本一致。
4. 打开 http://localhost:52415 查看仪表盘。

brew install --cask exo

从源码在 macOS 上运行时，README 给的是下面几行。在 Linux 上，把 uv sync 那一行换成 uv sync --extra mlx-cpu。

git clone https://github.com/exo-explore/exo
cd exo/dashboard && npm install && npm run build && cd ..
uv sync --extra mlx
uv run exo

如何使用

可以在仪表盘里聊天，也可以调用 API。README 用一个小模型 mlx-community/Llama-3.2-1B-Instruct-4bit 走了四个步骤。

1. 用 GET /instance/previews 预览你的模型有哪些放置方式。
2. 用 POST /instance 创建实例，放置方式取自第 1 步，再用 GET /instance/await 等它就绪。创建调用是异步的。
3. 把一次聊天补全发到 /v1/chat/completions。
4. 用完后，用 DELETE /instance/YOUR_INSTANCE_ID 删除这个实例。

curl -N -X POST http://localhost:52415/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "mlx-community/Llama-3.2-1B-Instruct-4bit",
    "messages": [
      {"role": "user", "content": "What is Llama 3.2 1B?"}
    ],
    "stream": true
  }'

同一个服务器还回答 /v1/messages（Claude 格式）、/v1/responses（OpenAI Responses）和 /ollama/api/chat（Ollama）。README 给了每一种的 curl 命令。

示例

你有两台 Mac，想让它们作为一个集群工作。你用 Homebrew 在两台上都装好 EXO，并在每台上打开它。

brew install --cask exo

你把两台 Mac 接到同一个 Wi-Fi 或以太网里，并确认它们运行同一版本。README 说第二台 Mac 几秒内就会出现在仪表盘里。如果没有出现，README 的排查清单先看版本，再看两台 Mac 上系统设置里的“本地网络”开关。在应用里，从菜单栏图标选 About EXO，或打开“设置 › 通用”查看版本。源码安装用下面这一行打印版本。

uv run exo --version

应用和源码安装的版本号编法不同，所以默认情况下它们不会互相加入。给每台设备设成同一个集群名，就能混用。

新手与专家

新手：集群在这里指的是你自己的设备，一起分担同一个模型的活。exo 读取你的网络布局，选好怎么拆分模型，其余的它来处理。先在一台 Mac 上装应用，再加第二台，试大模型之前，先试 README 里的那个小模型。模型都是大文件，所以要看看存放 ~/.exo/models 的那块盘还剩多少空间。/state 端点会显示实例 ID 和已经部署的内容。

专家：README 列出了拓扑感知的自动并行，它会权衡设备资源，以及每条链路的延迟和带宽。它还列出了张量并行，称在 2 台设备上最多加速 1.8 倍，4 台上最多 3.2 倍。对于 Thunderbolt 5 上的 RDMA，它声称设备之间的延迟降低 99%。推理后端是 MLX，通信用的是 MLX distributed。

预览会列出一种分片方式（README 示例里是 Pipeline）和一个 instance_meta（示例里是 MlxRing）。exo-bench 可以按 ring、jaccl 或两者过滤，也可以按 pipeline、tensor 或两者过滤。取消生成的办法是关闭 HTTP 连接，或者调用 /v1/cancel/{command_id}。

EXO_MODELS_DIRS 添加可写的模型文件夹，在默认文件夹之后按顺序尝试，用第一个有足够空闲空间的。EXO_ZENOH_NAMESPACE 的作用与 --namespace 相同。--no-worker 参数会让一个节点只做协调。模型用 TOML 模型卡描述，贡献指南列出了必填字段。

注意事项

应用和仪表盘在你自己的设备上运行，少数几步会碰到你的系统或互联网。

• Thunderbolt 网络设置：需要你的管理员密码。应用会安装一个小系统服务，创建一个名为 exo 的网络位置，把 Mac 切过去，并关掉 Thunderbolt Bridge。你原来位置里的固定 IP、DNS 和代理设置在那里不生效
• 登录项：欢迎窗口里“Open EXO at login”是勾上的。可以在那里取消，也可以在“设置 › 通用”里取消
• 版本：版本不同的设备不会加入集群，所以要把集群里的每台 Mac 一起更新
• Linux：README 说 exo 目前跑在 CPU 上，GPU 支持还在开发中
• 你的数据：在 Mac 上，exo 把数据放在 ~/.exo。模型在 ~/.exo/models，日志是 ~/.exo/exo_log/exo.log
• 联网：EXO 会自己检查更新，模型从 Hugging Face 下载。用 EXO_OFFLINE=true uv run exo 可以不联网运行，只用本地模型
• API：参考文档没有为这些端点提到登录或 API 密钥
• 自定义模型：trust_remote_code 默认是关的。只对你信任其代码的模型打开
• 安装命令：README 里的 Homebrew 安装脚本、uv 安装脚本（Linux）和 rustup 命令会下载一个脚本并立刻运行，先读一读再用
• 卸载：如果你同意过 Thunderbolt 网络设置，把 EXO.app 拖进废纸篓或运行 brew uninstall 后，Mac 仍停在 exo 网络位置，Thunderbolt Bridge 也仍是关闭的。用 sudo 运行卸载脚本可以恢复它们，脚本还会删除 ~/.exo，下载的模型默认保留，加 --delete-models 才会一起删除
• 许可证：Apache-2.0。LICENSE 文件写着“Copyright 2025 Exo Technologies Ltd”