Catastrophic Forgetting Resilient One-Shot Incremental Federated Learning<br>抗灾难性遗忘的单次增量联邦学习<br>[摘要](abstracts/2602.17625.html)

Abstract (EN)

Abstract not available.

摘要 (ZH)

现代大数据系统产生大规模、异构且地理分散的隐私敏感流式数据,使得数据集中化处理面临挑战。尽管联邦学习(FL)提供了一种增强隐私的训练机制,但其假设数据流是静态的,并通过多轮学习协作模型,这在通信受限的场景下难以应对增量数据的学习。本文提出了单次增量联邦学习(OSI-FL),这是首个同时应对通信开销和灾难性遗忘双重挑战的FL框架。OSI-FL在单轮通信中,利用冻结的视觉语言模型(VLM)从每个客户端提取类别特定的嵌入表示,服务器端的预训练扩散模型使用这些嵌入合成与客户端数据分布相似的新数据。合成样本在服务器端用于训练。然而,仍存在两个挑战:i)增量到达的任务需要重新训练全局模型,ii)随着未来任务的到来,重新训练模型会引发灾难性遗忘。为此,我们通过选择性样本保留(SSR)增强训练,该方法基于样本损失识别并保留每个类别和任务对中最具信息量的前p个样本。SSR通过确保在后续迭代中将具有代表性的保留样本纳入训练,从而限制遗忘。实验结果表明,在三个基准数据集上的类增量和域增量场景中,OSI-FL均优于传统及单次FL基线方法。

← Back