Abstract not available.
大规模视觉语言模型（VLMs）在有限标注数据下适应下游任务仍面临重大挑战。尽管参数高效的提示学习方法提供了可行路径，但它们常遭受预训练知识灾难性遗忘的问题。针对这一局限，本研究基于以下洞察：控制提示的演化路径对于实现无遗忘适应至关重要。为此，我们提出EvoPrompt——一种新颖框架，旨在显式引导提示轨迹以实现稳定、知识保留的微调。具体而言，该方法采用模态共享提示投影器（MPP）从统一嵌入空间生成分层提示。关键创新在于演化训练策略，它将低秩更新解耦为方向与幅度分量：保留早期习得的语义方向，仅调整其幅度，从而使提示在演化过程中不丢弃基础知识。该过程进一步通过特征几何正则化（FGR）得到稳定，该正则化强制特征去相关以防止表示崩溃。大量实验表明，EvoPrompt在少样本学习中达到最先进性能，同时能鲁棒地保持预训练VLMs原有的零样本能力。