SEM: Sparse Embedding Modulation for Post-Hoc Debiasing of Vision-Language Models<br>SEM：面向视觉语言模型事后去偏的稀疏嵌入调制方法<br>[摘要](abstracts/2603.19028.html)

Abstract (EN)

Abstract not available.

摘要 (ZH)

连接视觉与语言的模型（如CLIP）是多模态人工智能的核心组件，但其大规模、未经筛选的训练数据引入了严重的社会性与虚假偏见。现有的事后去偏方法通常在稠密的CLIP嵌入空间中直接操作，其中偏见信息与任务相关特征高度纠缠，导致在消除偏见的同时难以保持语义保真度。本研究提出稀疏嵌入调制（SEM），一种基于稀疏自编码器潜在空间的事后零样本去偏框架。通过将CLIP文本嵌入分解为解耦特征，SEM能够识别并调控与偏见相关的神经元，同时保留查询相关特征，从而实现更精确的非线性干预。在四个基准数据集和两种CLIP骨干网络上，SEM在检索和零样本分类任务中均取得显著的公平性提升。实验结果表明，稀疏潜在表示为视觉语言模型的事后去偏提供了有效基础。

← Back