具身智能数据采集

Robot Data Collection


具身智能数据采集是什么?

具身智能数据采集(数采,Robot Data Collection)是指在机器人执行任务的过程中,同步记录"观测(摄像头图像、关节状态)+ 动作(关节指令)"配对数据的过程,通常由人类通过遥操作示教完成。这些数据是训练 VLA 模型与模仿学习策略的原料——模型能学到什么,取决于采到了什么。

主从臂遥操作采集流程

主从臂(leader-follower)是常见的真机数采方案:

  1. 操作员拖动轻量化的主臂(leader),从臂(follower)实时复现主臂的关节运动;
  2. 系统以固定频率(通常 30-50 Hz 以上)同步记录多路摄像头图像、从臂关节状态与动作指令;
  3. 每完成一次任务保存为一条轨迹(episode),一个任务通常采集数十到数百条;
  4. 数据经筛选、对齐后进入训练管线。

当主从臂在关节空间一一对应时,示教较直观,也可减少在线运动学映射的复杂度。BXI UpperBody 1 双臂遥操作平台采用双主臂 + 双从臂架构,可接入 ROS2 数据录制工作流;具体接口与数据格式以项目配置为准。

真机数据 vs 仿真数据

  • 真机数据:包含真实的摩擦、形变、光照与传感噪声,训练出的策略可直接部署,但采集成本高、依赖人力;
  • 仿真数据:可大规模并行生成、成本低,但与实机存在差距,需通过 Sim-to-Real 技术弥合。

实践中两者常混合使用:仿真提供规模,真机数据锚定真实分布。

模仿学习如何消费这些数据

以 ALOHA/ACT 为代表的路线,直接用主从臂采集的双臂轨迹训练策略:ACT(Action Chunking with Transformers)把未来一小段动作作为整体预测。所需示教数量取决于任务难度、数据质量和泛化范围;这类方法说明“遥操作数采 + 模仿学习”是具身智能策略训练的一条实用途径。