当传统联邦学习面临异构性挑战，不妨尝试这些个性化联邦学习算法

复杂物联网环境中固有的设备、统计和模型的异构性给传统的联邦学习带来了巨大挑战，使其无法直接部署应用。为了解决物联网环境中的异构性问题，本文重点研究个性化联邦学习方法，这种方法能够减轻异质性带来的负面影响。此外，借助边缘计算的能力，个性化联邦学习能够满足智能物联网应用对快速处理能力和低延迟的要求。

边缘计算的提出主要是为了解决设备异构性中的高通信和计算成本问题，从而为物联网设备提供了按需计算的能力。因此，每个物联网设备可以选择将其计算密集型学习任务卸载到边缘，以满足快速处理能力和低延迟的要求。此外，边缘计算可以通过在本地就近存储数据的方式（例如，在智能家庭应用的智能边缘网关中）解决隐私问题，而无需将数据上传到远程云。还可以采用差分隐私和同态加密等隐私和安全保护技术来提高隐私保护水平。

本文提出了一个用于个性化联邦学习的协同云边缘框架 PerFit，该框架能够从整体上缓解物联网应用中固有的设备异构性、统计异构性和模型异构性问题。对于统计和模型的异构性，该框架还允许终端设备和边缘服务器在云边缘范例中的中心云服务器的协调下共同训练一个全局模型。在对全局模型进行学习训练后，在客户端设备中可以采用不同的个性化联邦学习方法，根据不同设备的应用需求对其进行个性化模型部署。

3.1 方法介绍

本文提出了一个针对智能物联网应用的个性化联邦学习框架，以整体的方式应对设备异构性、数据异构性和模型异构性挑战。如图 6 所示，本文提出的 PerFit 框架采用云边缘架构，为物联网设备提供必要的按需边缘计算能力。每个物联网设备可以选择通过无线连接将其密集的计算任务转移到边缘设备中（即家中的边缘网关、办公室的边缘服务器或室外的 5G MEC 服务器），从而满足物联网应用的高处理效率和低延迟的要求。

图 6. 智能物联网应用的个性化联邦学习框架，支持灵活选择个性化的联邦学习方法

具体来说，PerFit 中的协作学习过程主要包括以下三个阶段，如图 6 中所述：

卸载阶段（Offloading stage）。当边缘设备是可信的（例如，家中的边缘网关），物联网设备用户可以将其整个学习模型和数据样本卸载到边缘设备中以进行快速计算。否则，设备用户将通过将输入层及其数据样本本地保存在其设备上并将剩余的模型层卸载到边缘设备中以进行设备边缘协作计算来执行模型划分。

学习阶段（Learning stage）。边缘设备根据个人数据样本协同计算本地模型，然后将本地模型信息传输到云服务器。云服务器将各个边缘设备所提交的本地模型信息聚合起来，并将它们平均化为一个全局模型，然后发送回各个边缘设备中。这样的模型信息交换过程不断重复，直到经过一定次数的迭代后收敛为止。因此，可以实现一个高质量的全局模型，然后传输到边缘设备以进行进一步的个性化设置。

个性化阶段（Personalization stage）。为了捕捉特定的个人特征和需求，每个边缘设备都基于全局模型信息和自身的个人信息（即本地数据）训练一个个性化模型。这一阶段的具体学习操作取决于采用的个性化联邦学习机制。例如，迁移学习、多任务学习、元学习、知识蒸馏、混合模型等。

进一步，在边缘设备上进行本地模型聚合，也有助于避免大量设备通过昂贵的主干网带宽与云服务器直接通信，从而降低通信开销。通过执行个性化处理，可以在一些资源有限的设备上部署轻量级的个性化模型（例如，通过模型修剪或传输学习）。这将有助于减轻设备在通信和计算资源方面的异构性。此外，也可以很好的支持统计异构性和模型异构性，因为该框架可以根据不同边缘设备的本地数据特性、应用程序需求和部署环境利用个性化的模型和机制。

PerFit 通过在边缘设备和云服务器之间交换不同类型的模型信息，能够灵活地集成多种个性化的联邦学习方法，包括我们在这篇文章中分析的两种个性化联邦学习方法。通过解决复杂物联网环境中固有的异构性问题并在默认情况下确保用户隐私，PerFit 可以成为大规模实际部署的理想选择。

3.2 个性化联邦学习机制

作者在文章中回顾并简述了几个个性化联合学习机制，这些机制可以与 PerFit 框架集成用于智能物联网应用程序。文中重点分析了以下几种类型：联邦迁移学习，联邦元学习，联邦多任务学习、联邦蒸馏和数据增强。

3.2.1 联邦迁移学习

联邦迁移学习的基本思想是将全局共享模型迁移到分布式物联网设备上（客户端设备），通过针对各个物联网设备实现个性化处理，以减轻联邦学习中固有的数据异构性问题（Non-IID 数据分布）。考虑到深度神经网络的结构和通信过载问题，通过联邦转移学习实现个性化的方法主要有两种。具体可见图 7。

图 7(a)中为 Chen 在文献 [14] 中提出的联邦迁移学习方法。首先通过经典的联邦学习训练一个全局模型，然后将全局模型发送至每个客户端设备。每个设备都能够通过使用其本地数据来改进、细化全局模型从而构建个性化模型。为了减少训练开销，只对指定层的模型参数进行微调，而不是对整个模型进行再训练。由图 7(a)可见，由于深度网络的底层侧重于学习全局（公共的）和底层特征，因此，在全局模型中的这些底层参数可以传输到局部模型中后直接复用。而传入的更高层的全局模型参数则应该根据本地数据进行微调，以便学习到针对当前设备定制的更具体的个性化特性。

Arivazhagan 等在文献 [15] 中提出了另一类联邦迁移学习方法 FedPer。FedPer 主张将深度学习模型视为基础 + 个性化层，如图 7(b)所示。其中，将基本层作为共享层，使用现有的联邦学习方法（即 FedAvg 方法）以协作方式进行训练。而个人化层在本地进行训练，从而能够捕获物联网设备的个人信息。在联邦学习一个阶段的训练过程之后，可以将全局共享的基础层转移到参与的物联网设备上，以其独特的个性化层构建自己的个性化深度学习模型。因此，FedPer 能够捕捉到特定设备上的细粒度信息，以进行更好的个性化推理或分类，并在一定程度上解决数据异构性问题。此外，由于只需要上传和聚合部分模型，FedPer 需要较少的计算和通信开销，这在物联网环境中是至关重要的。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!