Abstract not available.
尽管视觉语言模型(VLMs)在多种下游任务中取得了显著性能,但近期研究表明,它们可能从训练数据中继承社会偏见,并进一步将其传播至下游应用。为解决这一问题,已有多种去偏方法被提出,但大多数方法旨在提升公平性,却缺乏理论保证模型效用得以保持。本文提出一种在跨模态空间中产生闭式解的去偏方法,实现了帕累托最优的公平性,并确保效用损失有界。该方法无需训练、不依赖标注数据,并能联合去偏视觉与文本模态,适用于多种下游任务。大量实验表明,在零样本图像分类、文本到图像检索及文本到图像生成等下游任务中,我们的方法在群体公平性和交叉公平性方面,均优于现有方法,在多种公平性指标和数据集上实现了更优的去偏效果,同时保持了任务性能。