摘要

本文介绍了一种名为“个性化联邦持续学习通过多粒度提示”（PFCL）的新型实用场景，该场景在共享和个性化知识方面提出了更大的挑战。PFCL不仅依赖于全局时空视角的知识融合进行服务器聚合，还需要根据每个客户端的本地需求改进模型。现有的个性化联邦学习（PFL）或联邦持续学习（FCL）方法忽视了知识的多粒度表示，这种表示可以用来克服时空灾难性遗忘（STCF）并通过粗到细的人类认知机制采用广义知识。此外，它允许更有效地个性化共享知识，从而服务于其自身目的。为此，我们提出了一种称为多粒度提示的新概念，即通过共同模型学习过程获得的粗粒度全局提示，以及用于个性化广义表示的细粒度本地提示。前者专注于高效地转移共享的全局知识而不会空间遗忘，后者强调特定学习个性化本地知识以克服时间遗忘。此外，我们设计了一种选择性提示融合机制，用于从不同客户端提炼的全局提示的知识聚合。通过粗粒度知识的独占融合，我们实现了客户端之间共同知识的传递和细化，进一步增强了个性化性能。大量实验证明了所提方法在解决STCF以及提高个性化性能方面的有效性。我们的代码现在可在https://github.com/SkyOfBeginning/FedMGP获取。

原理

本文提出的联邦多粒度提示（FedMGP）方法通过引入多粒度知识空间到PFCL中，首次实现了更好的个性化需求和时空遗忘的解决。具体来说，在客户端，我们设计了两种粒度级别的提示用于知识表示，即粗粒度全局提示（Coarse-grained Global Prompt）和细粒度本地提示（Fine-grained Local Prompt）。全局提示代表粗粒度的共同知识，而本地提示，建立在全局提示之上，代表类别的细粒度知识。仅融合粗粒度的共同知识有助于形成广义知识并避免由于聚合细粒度知识引起的空间遗忘。基于全局提示的本地提示旨在个性化来自服务器的广义知识，同时防止由于类别增加引起的时间遗忘。在服务器端，我们设计了一种新的全局提示融合方法，称为选择性提示融合（Selective Prompt Fusion），无需空间遗忘。仅聚合粗粒度知识不仅提高了聚合速度，还提供了进一步的隐私保护改进。

流程

FedMGP的工作流程如下：首先，每个客户端使用预训练的ViT模型作为基础认知系统，学习全局提示，这些提示在输入级别操作。这些全局提示代表通过共同模型学习过程获得的粗粒度知识。由于知识是从同一模型中提取的，因此在服务器端聚合知识更加方便，不会引起空间遗忘。全局提示的训练基于冻结的ViT模型，并且全局提示在输入级别操作，不影响模型的参数。目的是通过同一模型将知识提取到共同空间。接下来，基于冻结的全局提示，我们进一步开发了细粒度的类别本地提示。这些提示直接影响模型的多头自注意力（MSA）层，有助于提取本地细粒度知识。此外，这种细粒度提示有助于克服由类别增加引起的时间遗忘。最后，在服务器端，我们设计了一种新的全局提示融合方法，称为选择性提示融合，无需空间遗忘。聚合仅粗粒度知识不仅提高了聚合速度，还提供了进一步的隐私保护改进。

应用

PFCL的应用前景广泛，特别是在需要处理异构知识的高要求场景中。PFCL能够有效地积累和融合来自不同时间和空间的知识，同时克服时空灾难性遗忘。通过多粒度知识表示，PFCL能够有效地解决这些问题，为个性化联邦学习提供了一个有前景的方向。此外，FedMGP方法的设计不仅提高了知识聚合的效率，还增强了隐私保护，使其在实际应用中具有高度的可行性和实用性。随着联邦学习和持续学习技术的进一步发展，PFCL及其相关方法将在多个领域，如医疗、金融和智能交通等，发挥重要作用。