Abstract not available.
随着视觉语言模型（VLMs）日益复杂且广泛应用，理解其决策过程变得愈发关键。传统可解释性方法专为分类任务设计，难以应对现代自回归VLMs，因其涉及复杂的逐令牌生成过程以及视觉与文本模态间的精细交互。本文提出DEX-AR（自回归模型动态可解释性方法），这是一种新颖的可解释性方法，通过生成逐令牌和序列级别的二维热力图，突出显示对模型文本响应至关重要的图像区域，以应对上述挑战。该方法通过在逐令牌生成过程中计算注意力图对应的分层梯度，实现对自回归VLMs（包括不同层和生成令牌的重要性变化）的解读。DEX-AR引入两大关键创新：一是动态头过滤机制，用于识别专注于视觉信息的注意力头；二是序列级过滤方法，在区分视觉相关令牌与纯语言令牌的同时，聚合逐令牌解释。我们在ImageNet、VQAv2和PascalVOC数据集上的评估表明，该方法在使用新型归一化困惑度指标的基于扰动的度量，以及基于分割的度量上均取得了持续改进。