Abstract not available.
从单目RGB视频中理解真实的手-物交互对于增强现实/虚拟现实、机器人技术和具身人工智能至关重要。现有方法依赖于特定类别的模板或大量计算,但在三维空间中仍产生物理上不一致的手-物对齐。我们提出了GHOST(高斯手-物泼溅),一个快速、类别无关的框架,利用二维高斯泼溅技术重建动态手-物交互。GHOST将手和物体表示为密集、视图一致的高斯圆盘,并引入了三项关键创新:(1) 几何先验检索与一致性损失,用于补全被遮挡的物体区域;(2) 抓取感知对齐,优化手部平移和物体尺度以确保真实的接触;(3) 手部感知背景损失,避免惩罚被手部遮挡的物体区域。GHOST能够从单个RGB视频中实现完整、物理一致且可动画的重建,同时运行速度比先前的类别无关方法快一个数量级。在ARCTIC、HO3D和野外数据集上的广泛实验表明,GHOST在三维重建和二维渲染质量方面达到了最先进的精度,确立了其作为真实手-物交互建模的高效且鲁棒的解决方案。代码可在https://github.com/ATAboukhadra/GHOST获取。