Abstract not available.
以结构化方式表示和理解三维环境对于自主智能体导航和推理其周围环境至关重要。传统的同步定位与建图（SLAM）方法虽能生成度量重建并可扩展为度量-语义建图，但缺乏更高层次的抽象和关系推理能力。为弥补这一不足，三维场景图作为一种能够捕捉层次结构和物体关系的强大表示方法应运而生。本研究提出了一种增强型分层三维场景图，它在多个抽象层次上整合了开放词汇特征，并支持物体关系推理。我们的方法利用视觉语言模型（VLM）来推断语义关系。特别地，我们引入了一个任务推理模块，该模块结合大型语言模型（LLM）和视觉语言模型（VLM）来解析场景图的语义与关系信息，使智能体能够更智能地进行任务推理并与环境交互。通过在四足机器人上部署该方法于多种环境和任务中，我们验证了其推理能力。