Abstract not available.
理解物体的物性对于使机器人能够在多样化和非结构化环境中执行有目的、细粒度的交互至关重要。然而,现有方法要么依赖于检索,由于稀疏性和覆盖范围不足而显得脆弱;要么依赖于大规模模型,这些模型在应用于未见类别时常常错误定位接触点并误判接触后动作,从而阻碍了鲁棒的泛化能力。我们提出了检索增强的物性预测框架,该框架将物性检索与基于对齐的学习相统一。通过解耦静态接触点定位和动态动作方向,RAAP通过密集对应关系迁移接触点,并利用检索增强的对齐模型预测动作方向,该模型通过双重加权注意力整合多个参考信息。在DROID和HOI4D的紧凑子集上训练,每个任务仅需数十个样本,RAAP在未见过的物体和类别上均实现了稳定的性能,并在仿真和现实世界中实现了零样本机器人操作。项目网站:https://github.com/SEU-VIPGroup/RAAP。