Alpamayo 2 Edge

Alpamayo 2 Edge

读取多路摄像头画面、导航指令和运动历史，输出带文字理由的行驶轨迹，也能回答关于场景的问题。适合自动驾驶开发者和研究者。

由 nvidia 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Alpamayo 2 Edge 是 NVIDIA 发布的视觉语言动作模型，用于自动驾驶研究。它读取摄像头图像、文字指令和车辆最近的运动，然后返回规划路径和对其推理的文字说明。

你还可以就驾驶场景所见内容向它提开放式问题。它建立在 Cosmos 3 Edge 主干之上。NVIDIA 把它定位为微调的基础，也可以部署到车上的 DRIVE AGX Thor 平台。

适合谁：适合做自动驾驶系统的开发者和研究者，他们需要一个紧凑的推理模型来做规划和决策。

Industry | Who uses it | How they use it | Example
汽车 | 自动驾驶软件团队 | 针对自己的车辆和传感器微调模型 | 适配不同的摄像头布局
研究 | 自动驾驶研究者 | 研究每条轨迹旁边的文字理由 | 比较不同采样候选的推理文字
嵌入式系统 | 在车辆上部署的团队 | 在车载硬件上运行紧凑模型 | 面向 DRIVE AGX Thor

如果你想要通用聊天机器人或图像工具，可以跳过它，因为它围绕驾驶场景和摄像头输入而建。

用在哪里：

• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件
• NVIDIA DRIVE AGX Thor，卡片提到的车载部署平台
• 基于另外的 NVIDIA 源代码仓库的微调流程

Use case | Who | What they get back
轨迹预测 | 规划工程师 | 从 0.1 到 6.4 秒的 64 个路点，每个都有位置和旋转
因果解释 | 研究者 | 每个轨迹候选的文字推理
场景提问 | 开发者 | 对摄像头所见内容的自由回答

如何设置：

• 用来运行下载命令的 Python 和 pip
• 带拍摄时间戳的摄像头帧，因为提示词会编码相对时间
• 来自 NVIDIA 源仓库的推理代码，卡片把它链接为代码

1. 安装 Hugging Face 工具。
2. 下载模型文件。
3. 从 NVIDIA 源仓库获取推理代码并照着做。

pip install -U huggingface_hub
hf download nvidia/Alpamayo2-Edge

如何使用：准备多个时间步的六路摄像头画面、一条文字导航指令，以及间隔 0.1 秒的 20 个过去自车姿态。卡片说应用聊天模板时要关闭思考，因为模板默认是开启的。

enable_thinking=False

Mode | What it does
轨迹预测 | 根据六路摄像头画面（共 22 帧）加上指令和自车姿态来预测路径
自由形式视觉问答 | 根据同样的六个摄像头，每个四帧，回答开放式问题

示例：你提供六路摄像头画面、一条类似下个路口转弯的指令，以及最近的自车姿态。模型返回一条延伸到 6.4 秒的 64 个路点的路径，并用文字解释为什么选这条路径。

新手与专家：如果你刚接触这类模型，可以把它看成会解释自己的驾驶规划器。先下载文件，读一读 NVIDIA 的代码，看看摄像头帧是怎么准备的。

如果你熟悉这个领域，它是 VLA 模型，主干是 Cosmos 3 Edge，带一个基于扩散的动作解码器。动作专家逐步预测加速度和曲率，由单车模型积分，每个轨迹候选都带有自己采样的推理。

六路摄像头帧和自车姿态历史
文字形式的导航指令
主干写出驾驶推理
动作专家预测加速度和曲率
单车模型生成轨迹

注意事项：

• 权重：据 Hugging Face，BF16 下约 5.3 GB
• NVIDIA 把它定位为可微调、可部署的基础，所以请把它当作起点，而不是成品的驾驶产品
• 文字输出长度不定，轨迹输出包含 XYZ 位置和 3x3 旋转矩阵

Title: 各部分的参数量，单位十亿
语言模型: 1.96 十亿
视觉编码器: 0.41 十亿
投影层: 0.08 十亿
动作专家: 0.2 十亿

• License: 模型权重用 OpenMDW-1.1，源代码用 Apache License 2.0
• Cost to run: 没有提到，不过车载部署面向 NVIDIA DRIVE AGX Thor 硬件
• Data it reaches: 你提供的摄像头图像、文字指令和自车运动历史
• Not for: 来源没有列出排除项

Hugging Face 上的数据（2026年11月13日）

• 任务：robotics
• 参数量：2.7B
• Weights: about 5.3 GB in BF16; about 1.3 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：921
• 点赞：41
• 许可证：openmdw-1.1
• 语言：en
• 基于：nvidia/Cosmos3-Edge
• Fine-tunes: 1
• 标签：safetensors, alpamayo2_edge, alpamayo, autonomous-driving, vision-language-action, pytorch, robotics

链接

• 模型：https://huggingface.co/nvidia/Alpamayo2-Edge
• 文件：https://huggingface.co/nvidia/Alpamayo2-Edge/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download nvidia/Alpamayo2-Edge

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。