机器人要更好学习人类行为,有不少门道。
在操作任务学习上:
人形机器人可通过观看人类视频,
提取动作意图并映射到自身控制系统。
像英伟达的DreamDojo项目整合超44万小时人类第一视角视频,
EgoScale数据集也有超20854小时自我中心视频,
这些海量视频为机器人提供了丰富物理交互知识。
机器人不仅得看视频,还得“看懂”。
比如要解决视角差异问题,
EgoHumanoid框架用3D视觉技术将人类视频重投影到机器人视觉空间。
让机器人像人类一样思考也很重要:
当前基于网络的深度学习系统虽有成就,
但缺乏知识迁移能力和常识。
或许可以借鉴人类或动物的学习方式,
甚至回归人脑设计来开发。