[CV]《ProxyPose: 6-DoF Pose Tracking via Video-to-Video Translation》R Zhang, F Taubner, P Ravi, K N. Kutulakos… [University of Toronto] (2026)

在计算机视觉领域，从单目视频中跟踪物体的 6-DoF 位姿是一个长久难题。传统方法高度依赖精确的 3D 模型、深度图或预定义的物体掩码，且在面对无纹理、透明、反光或形变表面时极易崩溃，本质原因是这些方法试图在缺乏先验的复杂视觉流中直接进行硬性的几何推断。

本文的核心洞见是：将复杂的位姿跟踪转化为一种生成式翻译任务。通过微调视频扩散模型，系统能将原始视频中标记的像素点「翻译」为一个同步运动的彩色几何代理（如立方体）视频。由此，复杂的真实物体跟踪被简化为对已知几何结构、颜色分明且背景纯净的代理物体进行经典 PnP 位姿求解，从而利用生成模型的强大先验绕过了对物体身份和刚性的假设。

这项工作真正留下的遗产是证明了大规模预训练视频生成模型可以作为 3D 运动感知的通用骨干，无需特定任务的视觉基础模型即可实现高精度跟踪。它为处理极端动态、非刚性及特殊材质场景打开了新门，但尚未跨过的门槛是受限于生成模型的计算开销，目前尚无法实现实时处理，且长序列跟踪仍受限于生成模型的上下文长度。arxiv.org/abs/2607.06555 机器学习 人工智能 论文 AI创造营