Needle 2

Needle 2

一个 45M 参数的开放模型，用于工具调用、设备操作和结构化提取，打包成一个 14 MB 的二进制文件，约 28 MB 内存即可运行。适合需要在手机、开发板和浏览器上做函数调用的开发者。

由 Cactus-Compute 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Needle 2 是一个小型开放模型，参数量 45M，用来调用工具、操作设备和提取结构化数据。整个模型是一个 14 MB 的二进制文件，完整会话大约需要 28 MB 内存。输入文字，输出结构化的 JSON，并且由根据你的模式生成的语法约束每一个令牌。

适合谁：适合想在小型硬件上做函数调用的开发者，比如手机、单板计算机、VR 头显和微控制器。也适合想从文字里提取结构化数据、又不想用大模型或网络调用的人。

行业 | 谁在用 | 怎么用 | 例子
移动应用 | 应用开发者 | 在手机本机上运行工具调用 | 让用户说出想要什么，并调用匹配的函数
嵌入式设备 | 硬件厂商 | 把函数调用模型放到小型开发板上 | 通过语音或文字请求控制一台设备
智能家居 | 家居自动化开发者 | 把请求变成结构化命令 | 把一句话映射成恒温器设置
智能体 | 智能体构建者 | 低成本地在庞大的工具目录中路由 | 声明很多工具，让检索挑出排名靠前的几个

如果你需要开放式写作或长篇推理，可以跳过它。模型卡描述的是工具调用、设备操作和结构化提取。

用在哪里：

• Windows、macOS 和 Linux 上的 Python，通过 cactus-needle 包
• 模型卡点名的芯片家族：ARM64、x86-64、ARMv7 和 RISC-V，以及浏览器里的 WebAssembly
• 手机、树莓派开发板、VR 设备，以及 ESP32-P4 这样的微控制器

Use case | Who | What they get back
工具调用 | 开发者 | 带类型参数的结构化调用
结构化提取 | 数据团队 | 遵循你的模式的 JSON
设备控制 | 硬件厂商 | 从你声明的工具中选出的动作

如何设置：你需要 Python 和一个 pip 包。

• Windows、macOS 或 Linux 上的 Python
• cactus-needle 包，里面包含模型和引擎
• 根据模型卡，运行时不需要其他下载，也不需要网络

1. 如果还没有 Python，先安装它。
2. 用 pip 安装这个包。
3. 把你的工具写成 Python 函数。
4. 创建智能体并运行一个请求。

pip install cactus-needle

如何使用：用工具装饰器装饰一个 Python 函数。它的签名给出参数类型，它的文档字符串就是工具描述。然后创建智能体并调用 run。Needle 先选出要调用的函数，用你的代码运行它，把输出交还给模型，再给出收尾的回答。

import needle

@needle.tool
def get_weather(city: str):
    "Get the current weather for a city."
    return {"city": city, "temp_c": 27, "sky": "clear"}

agent = needle.Needle(tools=[get_weather])
print(agent.run("what's it like in Lagos right now?")["reasoning"])

想要更多控制，可以在 Google 风格的 Args 块里描述每个参数，为可选参数给出默认值，并用 Literal 表示模型无法越出的固定选项集合。

from typing import Literal

@needle.tool
def set_thermostat(temperature: int, mode: Literal["heat", "cool", "auto"] = "auto"):
    """Set the thermostat.

    Args:
        temperature: target temperature in Celsius
        mode: heating strategy to use
    """
    return {"temperature": temperature, "mode": mode}

agent = needle.Needle(tools=[set_thermostat])
agent.run("make it 21 and cool the room")

示例：你声明一个天气函数，并问拉各斯现在天气怎么样。Needle 选出天气调用，运行你的函数，并根据结果返回回答。用恒温器工具时，要求 21 度并制冷，就会得到带这两个值的调用。

新手与专家：工具调用模型读取一个请求，决定要运行哪个函数、用什么值。Needle 2 在一个很小的包里做到这一点。第一步很小：安装它并运行天气示例。请把你的工具描述好，因为模型靠这些描述来决定调用什么。

它建立在作者的 Simple Attention Network 方案上，并用 Cactus Quants 压缩到 CQ2-bit。一个在字节层面工作、由你的模式编译而成的语法，限制了每个令牌可以是什么。一个学习得到的头为每个回复给出置信度分数，让你设定阈值。检索头每轮只显示排名前五的工具，256 个令牌的滑动窗口让内存保持在 28 MB 左右。

把工具声明为 Python 函数
Needle 读取请求和你的描述
语法把调用约束在你的模式内
你的函数运行，回答返回

注意事项：

• 每个回复都带有校准过的置信度分数，所以你可以在阈值之上执行，在阈值之下升级处理。
• 模型卡报告在树莓派 5 上约为每秒 500 个令牌。
• 模型卡称它与 FunctionGemma 270M 等其他小模型互有胜负，而体积小 5 到 70 倍。
• License: apache-2.0。
• Cost to run: 未提及，并且不需要网络。
• Data it reaches: 你给它的请求和你声明的工具，运行时没有下载。
• Not for: 开放式写作，因为模型卡描述的是工具调用、设备操作和结构化提取。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：cactus-needle
• 最近 30 天下载：1,736
• 点赞：341
• 许可证：apache-2.0
• Fine-tunes: 10
• 标签：cactus-needle, needle, tool-calling, function-calling, on-device, edge, quantization, webassembly, text-generation

链接

• 模型：https://huggingface.co/Cactus-Compute/needle2
• 文件：https://huggingface.co/Cactus-Compute/needle2/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Cactus-Compute/needle2

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。