Jocasta-diff-VLA

Jocasta-diff-VLA

把 Dream-VLA-7B 适配到 robosuite 中八类模拟 Panda 机械臂任务的机器人控制策略，使用 Flow Matching 动作头。适合有 CUDA GPU 的机器人研究者。

由 RobotLearningLab 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Jocasta-diff-VLA 是基于 Dream-VLA-7B 构建的机器人控制策略。它面向 robosuite 模拟器中八类 Panda 机械臂任务，把扩散语言模型主干和连续的 Flow Matching 动作头结合在一起。一个联合训练的策略覆盖全部八类任务，在 512 个评测回合中成功了 332 个，也就是 64.8%。

适合谁：研究机械臂视觉语言动作模型的研究者和学生，并且你手上有可以运行它的 CUDA GPU。

行业 | 谁在用 | 怎么用 | 例子
机器人研究 | VLA 研究者 | 复现或扩展这个适配后的策略 | 加载检查点，为 robosuite 场景预测动作
模拟仿真 | 测试 Panda 机械臂任务的人 | 把策略当作基线 | 比较八类任务的成功率
学术界 | 学习动作生成的学生 | 研究训练设置和参数 | 了解 LoRA 与 Flow Matching 的参数是怎么选的

如果你没有 GPU、对 robosuite 没兴趣，或者想要一行代码就加载，可以跳过它，因为它需要一个自定义软件包。

用在哪里：

• 有一块可见 CUDA GPU 并装有 Python 的机器
• robosuite 模拟器，渲染放在另一块独立的物理 GPU 上
• 基于配套代码仓库的研究代码

用途 | 适合谁 | 得到什么
预测机器人动作 | 机器人研究者 | 根据两张相机图像、本体状态和文字指令得到一组八个动作
测试迁移后的策略 | 评测作者 | 每类任务的成功率，可以和自己的运行结果对比
研究这次适配 | 学生 | 从基础模型到 LoRA 设置的训练参数

如何设置：先看需要什么，再照步骤做。原版 Dream-VLA 的基础权重需要另外获取，加载器会在需要时连同检查点一起下载。

• Python 和 git
• 一块用于推理的 CUDA GPU
• 带固定子模块和补丁的配套代码仓库

1. 连同子模块一起克隆配套仓库。
2. 进入克隆出的文件夹。
3. 给 Dream-VLX 子模块打上补丁。
4. 安装固定版本的依赖。

cd Diffusion-VLA-tuning
git -C third_party/Dream-VLX apply ../../patches/dream-vlx-panda.patch
python -m pip install -r requirements.lock -r requirements-multitask.txt

如果只想自己下载这个检查点的文件：

pip install -U huggingface_hub
hf download RobotLearningLab/Jocasta-diff-VLA

如何使用：用配套代码加载策略，然后让它给出动作。你需要传入两张 224 乘 224 的 RGB 相机图像、八个本体状态数值和一条指令。用 revision 传入 Hub 提交可以固定文件版本，用 base_model_path 指向本地的基础模型副本。

from load_policy import load_policy, predict_action

policy, processor, cfg = load_policy('RobotLearningLab/Jocasta-diff-VLA')
# primary and wrist: uint8 RGB arrays, each (224,224,3)
# proprio: float32 (8,), xyz + axis-angle orientation + two gripper joints
actions = predict_action(policy, processor, cfg, primary, wrist, proprio,
                         'pick up the red cube', seed=84907)
# actions.shape == (8,7)

工具 | 作用
load_policy | 根据模型名称构建策略、处理器和配置
predict_action | 根据图像、状态和指令返回八个动作，每个动作七个数值

示例：你把主相机和腕部相机的图像、八个本体状态数值，以及指令“pick up the red cube”一起交给策略，种子设为 84907。它返回八个动作组成的数组，每个动作七个数值。输出还要按配套代码的说明，转换成 Panda 机械臂所需的控制器命令。

新手与专家：如果你是新手，可以把它看作用于模拟机械臂的研究代码，而不是一个应用。第一步可以先读配套仓库，再在有 CUDA GPU 的机器上运行上面的加载代码。

对专家来说，这是一次 LoRA 适配，秩为 32，alpha 为 16，覆盖所有线性层。它训练了 100,000 次更新，每个包含 8 个动作的动作块采样 4 步 Flow Matching。训练好的动作头和投影层随检查点一起发布，所以它不是单纯的语言适配器。原版 Dream-VLA 在 PickPlace 场景中得分 0/64，这个策略是 40/64。两个策略的输入和动作设计不同，所以这个差距不能算作单独的主干效果。结果只用了一个训练种子和标准指令。

两张相机图像加本体状态
指令文本
带 LoRA 的 Dream-VLA 主干
Flow Matching 动作头，4 步
一组 8 个动作

注意事项：

Title: 固定开发场景下各任务类别的成功率
Lift: 100.0 %
Push: 95.3 %
Drawer: 76.6 %
Stack: 67.2 %
PickPlace: 62.5 %
Door: 53.1 %
NutAssembly: 50.0 %
ToolHang: 14.1 %

• Base weights:原版 Dream-VLA 基础模型需要另外获取，加载器会去下载
• Loading: 请使用配套加载器，因为通用的模型加载方式无法重建训练好的动作策略
• Data: 不包含原始演示数据，也不提供优化器状态
• Evaluation: 一个训练种子，每类任务 64 个固定场景，没有保留语言测试
• Rendering: 模拟时，让模型推理和渲染各用一块独立的物理 GPU
• License: Apache 2.0
• Cost to run: 没有提到 API 密钥或付费服务，但需要一块 CUDA GPU
• Data it reaches: 从 Hugging Face 下载检查点和基础权重，没有提到其他内容
• Not for: 用 AutoModel 加载，或当作保留指令上的结果

Hugging Face 上的数据（2026年11月13日）

• 任务：robotics
• 框架：pytorch
• Formats: Safetensors
• 最近 30 天下载：36
• 点赞：33
• 许可证：apache-2.0
• 语言：en
• 基于：Dream-org/Dream-VLA-7B
• 标签：pytorch, safetensors, vision-language-action, robotics, robosuite, lora, flow-matching, diffusion-language-model, simulation

链接

• 模型：https://huggingface.co/RobotLearningLab/Jocasta-diff-VLA
• 文件：https://huggingface.co/RobotLearningLab/Jocasta-diff-VLA/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download RobotLearningLab/Jocasta-diff-VLA

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。