[AI]《Latent Actions from Factorized Transition Effects under Agent Ambiguity》H Nam, C S Jonnalagadda, H Aggarwal, E Xu… [Brown University] (2026)
在无动作标注的世界模型领域,区分受控主体运动与环境背景噪声是一个悬而未决的难题。过去的方法受困于“主体歧义性”,本质原因是其将像素级变化视为单一体,导致受控动作与背景干扰、相机抖动在潜空间中发生不可分的纠缠。
本文的核心洞见是:把视觉演变重新看作一组可复用的局部转场原语的稀疏组合。由此,观测转场分解(OTF)这一关键操作通过分块量化编码,将复杂的运动拆解为边缘偏移或局部位移等基础原子,使模型能通过状态门控机制,从杂乱的背景中精准提取与动作相关的信号。
这项工作真正留下的遗产是证明了“转场原语”可作为像素与动作之间的高效中介表示。它为后来者打开了跨形态、跨视觉载体进行零样本迁移学习的新门,但尚未跨过的门槛是:尽管原语词典具备通用性,其动作聚合器仍会吸收特定环境的先验,距离实现完全具身无关的通用控制仍有距离。
arxiv.org/abs/2606.30544 机器学习 人工智能 论文 AI创造营








