众力资讯网

蚂蚁刚开源了一个触觉基础模型:LingBot-Touch,让机器人不仅能看得见,

蚂蚁刚开源了一个触觉基础模型:LingBot-Touch,让机器人不仅能看得见,还能感知“手感”

这种触觉经验能跨传感器、跨灵巧手、跨模型、跨任务复用

这个方向值得关注,因为机器人在真实世界中做精细操作,光靠视觉是远远不够的,需要指尖的接触和受力反馈,还有一个迁移问题

LingBot-Touch的做法是,把触觉感知从特定硬件中抽象出来,训练成可复用的基础模型能力

基于近5000小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类传感原理

并给不同传感器设置专用编码入口,再把不同布局的触点映射到统一的指尖坐标空间,通过共享模型学习接触位置、受力及其随时间的变化,最终输出统一的触觉Token

这样,不同传感器采集的数据可以共同参与预训练,不同灵巧手和动作模型也能复用学到的触觉表征

相当于给机器人建立了一套跨硬件的通用触觉表征

实验效果,平均任务成功率比无触觉基线提高了14-26个百分点

过去,不同机器人往往需要分别采集触觉数据、适配传感器、训练模型

现在至少不用每换一套灵巧手、增加一种传感器,就从头积累触觉数据、重新学习接触感知能力了

技术报告:网页链接GitHub:网页链接Hugging Face:网页链接

LingBotTouch具身智能AI通用机器人