Abstract not available.
现有的基于多模态大语言模型（MLLMs）的分割模型（如LISA）常因无法融入最新知识而在处理新颖或新兴实体时表现不佳。为应对这一挑战，我们提出了新颖新兴分割任务（NEST），该任务专注于分割两类实体：（i）因未出现在训练数据中而未被MLLMs识别的新颖实体，以及（ii）虽存在于模型知识库中但需借助最新外部信息才能准确识别的新兴实体。为支持NEST研究，我们通过自动化流程构建了NEST基准数据集，该数据集利用新闻相关数据样本进行综合评估。此外，我们提出了ROSE：面向检索的分割增强框架，这是一个即插即用的框架，旨在增强任何基于MLLM的分割模型。ROSE包含四个关键组件：首先，引入互联网检索增强生成模块，利用用户提供的多模态输入检索实时网络信息；其次，文本提示增强器通过融入最新信息和丰富背景知识来提升模型对新兴实体的感知能力；再者，视觉提示增强器利用网络来源的图像弥补MLLMs对新奇实体缺乏接触的不足；为保持效率，还引入了WebSense模块，根据用户输入智能决定何时调用检索机制。实验结果表明，ROSE在NEST基准上显著提升了性能，其gIoU指标比基于Gemini-2.0 Flash的强检索基线高出19.2分。