Viewpoint Matters: Dynamically Optimizing Viewpoints with Masked Autoencoder for Visual Manipulation<br>视角至关重要:利用掩码自编码器动态优化视觉操控的视角<br>[摘要](abstracts/2602.04243.html)

Abstract (EN)

Abstract not available.

摘要 (ZH)

机器人操控仍面临挑战,而模仿学习(IL)使机器人能够从专家演示中学习任务。当前的IL方法通常依赖于固定的相机设置,即相机被手动放置在静态位置,这极大地限制了系统的适应性和覆盖范围。受人类主动感知的启发——人类会动态调整视角以捕捉最相关且噪声最少的信息,我们提出了MAE-Select,一种用于单相机机器人系统中主动视角选择的新颖框架。MAE-Select充分利用了预训练的多视角掩码自编码器表示,并在每个时间块动态选择下一个最具信息量的视角,无需标注视角数据。大量实验表明,MAE-Select提升了单相机系统的能力,在某些情况下甚至超越了多相机设置。项目将在https://mae-select.github.io上公开。

← Back