VideoRoPE：视频理解的旋转位置编码新方法 ?? 2502.05173 ??? 文章简介： 本文主要探讨了如何有效地将RoPE（Rotary Position Embedding）应用于视频理解，并提出了一种新的VideoRoPE方法。 1?? 研究问题：现有的RoPE变体在处理视频时，未能充分考虑视频复杂的时空结构，导致性能受限。 2?? 主要贡献： * 提出了VideoRoPE，一种专门为视频设计的RoPE变体，考虑了时空关系。 * 引入了V-NIAH-D任务，用于评估模型在存在干扰因素下的性能。 * 实验结果表明，VideoRoPE在多个视频理解任务上优于现有方法。 ?? 重点思路： ?? 相关工作： 1?? RoPE：通过旋转矩阵为每个token分配位置编码，在长文本建模中表现出色。 2?? RoPE扩展到多模态数据： * 直接应用RoPE：忽略了视频的时空结构。 * 结合结构信息：例如，M-RoPE将RoPE扩展到三维，但仍存在局限性。 ??论文方案： 1?? 关键特性分析：提出了四个关键特性，对于视频RoPE至关重要： * 2D/3D结构：保留视频的空间结构。 * 频率分配：优化时间、空间维度的频率分配。 * 空间对称性：确保视觉输入从前后文本中获得相等的上下文影响。 * 时间索引缩放：适应视频帧索引和文本token索引的差异。 2?? VideoRoPE的设计： * 低频时间分配（LTA）：为时间轴分配较低的频率，减少振荡。 * 对角布局（DL）：保持空间对称性。 * 可调节时间间隔（ATS）：通过超参数控制时间间隔。 3?? V-NIAH-D任务：在V-NIAH中加入干扰因素，更具挑战性，用于评估模型对干扰的鲁棒性。 ??Insights: 1?? VideoRoPE通过3D结构、低频时间分配、对角布局和可调节时间间隔，有效提升了视频理解能力。 2?? 在V-NIAH-D任务中，VideoRoPE表现出更强的鲁棒性，不易受干扰因素的影响。 3?? 实验结果表明，VideoRoPE在长视频检索、视频理解和视频幻觉等任务上均优于现有方法。 #VideoRoPE #视频理解 #位置编码 #深度学习 #论文分享 #计算机视觉 #长视频处理
