Abstract not available.
将视觉语言模型（VLMs）集成到自动驾驶中，有望解决长尾场景问题，但这一范式面临着灾难性遗忘这一关键且尚未解决的挑战。用于使这些模型适应驾驶特定数据的微调过程，同时侵蚀了其宝贵的预训练世界知识，形成了一个自我挫败的悖论，削弱了其使用的核心原因。本文首次对这一现象进行了系统性研究。我们引入了一个包含18万个场景的新大规模数据集，首次构建了专门用于量化自动驾驶中灾难性遗忘的基准。我们的分析表明，现有方法存在显著的知识退化问题。为解决这一问题，我们提出了驾驶专家适配器（DEA），这是一种新颖的框架，通过将适应从权重空间转移到提示空间来规避这种权衡。DEA根据场景特定线索动态路由推理，通过不同的知识专家，提升驾驶任务性能，同时不破坏模型的基础参数。大量实验证明，我们的方法不仅在驾驶任务上取得了最先进的结果，而且有效缓解了灾难性遗忘，保留了使VLMs成为自动驾驶系统变革力量的关键泛化能力。数据和模型已在FidelityDrivingBench发布。