Cactus runtime

Cactus runtime

提供预编译的运行时二进制文件，在手机、笔记本、服务器和浏览器上本地运行文字、语音和视觉模型。适合在应用里发布设备端 AI 的开发者。

由 Cactus-Compute 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Cactus runtime 是 Cactus Compute 的一组预编译二进制文件。一个引擎就能在设备本身上运行文字、语音和视觉模型。这个仓库收录 17 个目标平台的引擎，而 Needle 3、Whistle 和 Mirage 的模型权重放在各自单独的仓库里。

适合谁：想把模型放进应用或设备里，并且需要一个能跨多个平台的引擎的开发者。

Industry | Who uses it | How they use it | Example
移动应用 | iOS 和 Android 开发者 | 在手机本机上运行模型 | 在手机上转写一段语音
桌面软件 | 桌面应用开发者 | 把引擎嵌入应用 | Windows 或 macOS 上的原生运行器
嵌入式与物联网 | 硬件团队 | 在 ARM、RISC-V 和 MIPS 设备上运行模型 | Linux ARMv7 开发板上的一个模型
网页应用 | 前端开发者 | 在浏览器或 Node.js 里运行引擎 | 使用 WebAssembly 版本的网页

如果你只想和模型聊天，或者需要权重本身，可以跳过它，因为权重在其他仓库里。

用在哪里：

• Python，通过 cactus-compute 包
• macOS、Windows、Linux、Android、iOS、tvOS 和 watchOS
• 浏览器或 Node.js，以及 WASI Preview 2
• C 和 C++ 应用，通过 cactus.h 头文件

Use case | Who | What they get back
设备端推理 | 应用开发者 | 一个能加载 .cact 权重的原生运行器
嵌入 C 或 C++ | 原生开发者 | 一个静态库和一个可链接的头文件
Python 脚本 | Python 开发者 | 首次使用时自动取回的引擎和权重

如何设置：

• Python 路线需要 Python 和 pip
• 原生路线需要与你平台匹配的目标文件夹
• 模型权重来自各自的仓库，在 Python 里则会在首次使用时替你取回

1. 安装 Python 包。
2. 在你的代码里使用 import cactus。
3. 要用原生运行器，就为你的平台连同一个模型一起下载。

pip install -U cactus-compute

文件也可以直接从 Hugging Face 取回。

pip install -U huggingface_hub
hf download Cactus-Compute/cactus

如何使用：用 Python 时，第一次调用会取回与你机器匹配的引擎，以及模型权重。用原生运行器时，先连同模型下载，再对输入运行。卡片的示例为 Apple Silicon 下载了运行器和 Whistle 模型，并对一段音频运行。

cactus download macos-arm64 --model whistle --out ./runtime
./runtime/macos-arm64/cactus --model ./runtime/macos-arm64/whistle.cact --audio clip.wav

把 needle3 或 mirage 放在 --model 后面，就能选另外两个模型之一。省略 --model 就只下载二进制文件。

Tool | What it does
cactus download | 取回某个平台的运行器，可附带一个模型
cactus runner | 对你的输入运行一个 .cact 模型文件
cactus-compute package | 让 Python 能使用这个引擎

示例：你下载 macOS Apple Silicon 运行器和 Whistle 模型，并对一个名为 clip.wav 的短音频文件运行。运行器加载模型文件，在你的机器上处理这段音频。

新手与专家：如果你是新手，先装 Python 包，通过 Python 试用模型，它会自动取回所需的东西。原生运行器适合你要发布应用的时候。

这个版本有 17 个目标文件夹。原生运行器在运行时加载 .cact 权重，静态库附带 C 头文件。Python 轮子文件覆盖 macOS、使用 glibc 或 musl 的 Linux 以及 Windows。还提供一个 WASI 组件，发布文件在清单里附有 SHA-256 校验和。

为你的平台选好目标
连同模型一起下载运行器
运行器加载 .cact 权重
它处理你的文字、音频或图像

注意事项：

• 权重：这个仓库只有引擎，每个模型的权重在单独的仓库里
• 平台：iOS、tvOS 和 watchOS 目标提供的是静态库和头文件，而不是运行器
• License: apache-2.0
• Cost to run: 没有提到 API 密钥或付费服务
• Data it reaches: Python 包会在首次使用时下载引擎和权重，运行器读取你给它的文件
• Not for: 单独当作模型使用，因为你需要 Needle 3、Whistle 或 Mirage 的权重

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：cactus-compute
• 最近 30 天下载：682
• 点赞：19
• 许可证：apache-2.0
• 标签：cactus-compute, text-generation, automatic-speech-recognition, image-text-to-text

链接

• 模型：https://huggingface.co/Cactus-Compute/cactus
• 文件：https://huggingface.co/Cactus-Compute/cactus/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Cactus-Compute/cactus

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。