Needle 3

Needle 3

Cactus Compute 的小型设备端模型，用于工具调用、结构化提取和文本嵌入，通过 cactus Python 包使用。适合构建本地智能体的开发者。

由 Cactus-Compute 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Needle 3 是 Cactus Compute 的一个在设备上运行的模型。卡片说它为三件事而做：调用工具、从文字里提取结构化数据，以及生成文本嵌入。

你通过 cactus-compute Python 包使用它。这个仓库提供模型文件 needle3.cact 和 checkpoints/needle3.safetensors。包会在首次使用时下载并保存引擎和权重。

适合谁：适合想让智能体在手机、笔记本或其他设备上挑选并调用工具、不需要远程服务器的开发者。

Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 让本地智能体调用函数 | 查询某个城市的天气
数据工作 | 分析师 | 从文字里提取结构化字段 | 把一条消息变成带名字的字段
搜索 | 产品团队 | 在设备上生成嵌入 | 在本地比较短文本

如果你想要通用聊天模型或长篇写作，可以跳过它，因为卡片只说了工具调用、提取和嵌入。

用在哪里：

• 导入 cactus 包的 Python 程序
• 消费级设备，Cactus 的横幅把它们写作目标
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Use case | Who | What they get back
工具调用 | 智能体构建者 | 用正确参数对你某个 Python 函数的调用
结构化提取 | 数据团队 | 从自由文本里取出的字段
嵌入 | 搜索构建者 | 在设备上为文字生成的向量

如何设置：

• Python 和 pip
• cactus-compute 包
• Cactus 运行时支持的设备，列在 Cactus 仓库里

1. 安装这个包。
2. 写一个 Python 函数并把它标为工具。
3. 带着你的工具启动智能体，并运行一个请求。

pip install -U cactus-compute

如何使用：用工具装饰器标记一个函数，在文档字符串里给它一句简短的描述，再把它交给智能体。然后用一个普通问题调用 run。

import cactus

@cactus.tool
def get_weather(city: str):
    "Get the current weather for a city."
    return {"city": city, "temp_c": 27, "sky": "clear"}

with cactus.Cactus(tools=[get_weather]) as agent:
    print(agent.run("What's the weather in Lagos?")["results"])

Part | What it does
cactus.tool | 标记一个函数，让智能体能调用它
cactus.Cactus | 带着你给的工具启动智能体
agent.run | 发送请求并返回结果

示例：你问智能体拉各斯的天气。它选中 get_weather 工具，传入城市名，返回你的函数产生的字典。

新手与专家：如果你刚接触工具调用，先照抄天气示例，再把函数改成你自己的。每个工具保持小巧，描述写清楚。

如果你熟悉这个领域，卡片给出了关于 Python API、设计工具、结构化提取和微调的单独指南。这一页不重复基准数字，请到制作方的网站上查看。

安装 cactus-compute 包
写好并标记你的工具
带着工具启动智能体
运行请求并读取结果

注意事项：

• 首次运行会下载并缓存引擎和权重
• 卡片上的横幅称它小于 50 MB，但卡片没有给出确切的文件大小
• Hugging Face 列出了别人做的 3 个量化版本和 8 个微调版本
• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 你下载的文件，以及你经由它传递的请求和工具结果
• Not for: 通用聊天或长篇写作

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：cactus-compute
• 最近 30 天下载：147,784
• 点赞：411
• 许可证：apache-2.0
• Quantized versions: 3
• Fine-tunes: 8
• 标签：cactus-compute, needle, tool-calling, function-calling, on-device, edge, quantization, webassembly, text-generation

链接

• 模型：https://huggingface.co/Cactus-Compute/needle3
• 文件：https://huggingface.co/Cactus-Compute/needle3/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Cactus-Compute/needle3

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。