当传统联邦学习面临异构性挑战，不妨尝试这些个性化联邦学习算法

图 7. 两种联邦迁移学习架构

3.2.2 联邦元学习

在元学习中，模型是由一个能够学习大量相似任务的元学习者（a Meta-Learner）来训练的，训练模型的目标是从少量的新数据中快速适应新的相似任务。联邦元学习是指将元学习中的相似任务作为设备的个性化模型，将联邦学习与元学习相结合，通过协作学习实现个性化处理。Jiang 等在文献 [16] 中提出了一种改进的个性化 FedAvg。该方法通过引入一个精细化调整阶段，该精细化调整阶段使用模型不可知的元学习算法（model agnostic meta learning，MAML）。通过联邦学习训练得到的全局模型可以个性化地捕捉单个设备中的细粒度信息，从而提高每个物联网设备的性能。MAML 可以灵活地与任何模型表示相结合，以适应基于梯度的训练。此外，它只需少量的数据样本就可以快速学习和个性化适应处理。

由于联邦元学习方法通常使用复杂的训练算法，因此，与联邦迁移学习方法相比，联邦元学习方法实现的复杂度较高。不过，联邦元学习方法的学习模型更健壮，这一特性对于数据样本很少的设备是非常有用的。

3.2.3 联邦多任务学习

由前两节的分析可知，联邦迁移学习和联邦元学习的目的是通过个性化微调处理，在物联网设备上学习相同或相似任务的共享模型。与这种思路不同的是，联邦多任务学习的目标是同时学习不同设备的不同任务，并试图在没有隐私风险的情况下捕捉它们之间的模型关系（Model Relationships）。利用这种模型关系，每个设备的模型可以获取其他设备的信息。此外，为每个设备学习的模型总是个性化的。

由图 8 所示，在联邦多任务学习训练过程中，云服务器根据物联网设备上传的模型参数，学习多个学习任务之间的模型关系。然后，每个设备可以用其本地数据和当前模型关系更新自己的模型参数。联邦多任务学习通过交替优化云服务器中的模型关系和每个任务的模型参数，使参与其中的物联网设备能够协同训练其本地模型，从而减轻数据异构性，获得高质量的个性化模型。

文献 [17] 中提出了一种分布式优化方法 MOCHA。为了应对高通信成本的问题，MOCHA 具有一定的计算灵活性，从而通过执行额外的本地计算的方式造成在联邦环境下的通信轮次更少。为了减少最终结果的离散程度，作者建议在计算资源有限的情况下近似计算设备的本地更新。此外，异步更新方案也是避免离散问题的一种替代方法。此外，通过允许参与设备周期性地退出，MOCHA 具有健壮的容错性。由于复杂物联网环境中固有的设备异构性对联邦学习的性能至关重要，联邦多任务学习对于智能物联网应用具有重要意义。

图 8. 联邦多任务学习

3.2.4 联邦蒸馏方法

在经典联邦学习框架中，所有的客户机（例如参与的边缘设备）都必须同意在全局服务器和本地客户机上训练得到的模型的特定体系结构。然而，在一些现实的商业环境中，如医疗保健领域和金融领域等，每个参与者都有能力和意愿设计自己独特的模型，并且可能出于隐私和知识产权的考虑而不愿意分享模型细节。这种模型异构性对传统的联邦学习提出了新的挑战。

Li 等在文献 [18] 中提出了一个新的联邦学习框架 FedMD，使参与者能够利用知识蒸馏的方法独立地设计自己的模型。在 FedMD 中，每个客户机独立的将所学知识转化为标准格式，在不共享数据和模型体系结构的情况下确保其他人可以理解该格式。中央服务器收集这些知识来计算全局模型，并将其进一步分发给参与的客户机。知识转换步骤可以通过知识蒸馏来实现，例如，使用客户模型产生的类概率作为标准格式，如图 9 所示。通过这种方式，云服务器聚合并平均每个数据样本的类概率，然后分发到客户机以指导其更新。

Jeong 等在文献 [19] 中提出一种联邦蒸馏方法，其中每个客户机将自己视为学生，并将所有其他客户机的平均模型输出视为其教师的输出。教师与学生的产出差异为学生提供了学习的方向。这里值得注意的是，为了在联邦学习中进行知识提炼，需要一个公共数据集，因为教师和学生的输出应该使用相同的训练数据样本进行评估。

图 9. 联邦蒸馏

3.2.5 数据增强

Zhao 等提出了一种数据共享策略，将一些均匀分布的全局数据从云端（中央服务器）分发到边缘客户端[20]，从而在一定程度上缓解客户数据高度不平衡的分布状况，从而提高个性化模型的性能。然而，直接将全局数据分发到边缘客户端会带来很大的隐私泄露风险，这种方法需要在数据隐私保护和性能改进之间进行权衡。此外，全局共享数据与用户本地数据的分布差异也会导致性能下降。

为了在不损害用户隐私的前提下纠正不平衡的 Non-IID 局部数据集问题，研究人员采用了一些具有生成能力的过采样技术和深度学习方法。Jeong 等提出了一种联邦扩充方法（Federated Augmentation，FAug）[21]，其中每个客户机共同训练一个生成模型，从而扩充其本地数据以生成 IID 数据集。具体地说，每个边缘客户机识别其数据样本中缺少的标签（称为目标标签），然后将这些目标标签的少数种子数据样本上载到服务器。服务器对上传的种子数据样本进行过采样，然后训练一个生成性对抗网络（Generative Atterial Network，GAN）。最后，每个设备可以下载经过训练的 GAN 发生器来补充其目标标签，直到得到一个平衡的数据集。通过数据扩充，每个客户机可以根据生成的数据集训练出一个更加个性化和精确的用于分类或推理任务的模型。值得注意的是，FAug 的服务器应该是可信的，这样用户才愿意上传他们的个人数据。

3.3 实验分析

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!