当传统联邦学习面临异构性挑战，不妨尝试这些个性化联邦学习算法

本文实验基于一个名为 MobiAct 的可公开访问的数据集完成，该数据集重点研究人类活动识别任务。每个参与构建 MobiAct 数据集的志愿者都戴着三星 Galaxy S3 智能手机，带有加速计和陀螺仪传感器。志愿者在进行预定活动时，三轴线性加速度计和角速度信号由嵌入式传感器记录。使用 1 秒的滑动窗口进行特征提取，因为一秒钟就足够执行一个活动。MobiAct 中记录了 10 种活动，如步行、上下楼梯、摔倒、跳跃、慢跑、踏车等。为了实际模拟联邦学习的环境，本文实验随机选择了 30 名志愿者，并将他们视为不同的客户端。对于每个客户端，为每个活动随机抽取若干个样本，最后，每个客户端有 480 个样本用于模型训练。这样，不同客户端的个人数据可能呈现出 Non-IID 分布（统计异质性）。每个客户端的测试数据由分布均衡的 160 个样本组成。

使用两种模型进行客户端中的个性化学习。1） 多层感知器网络由三个完全连接的层组成，有 400 个、100 个和 10 个神经单元（总参数 521510 个），记作 3NN。2） 卷积神经网络（CNN），有三个 3×3 的卷积层（第一层有 32 个通道，第二个有 16 个通道，最后一个有 8 个通道，前两层每个都有一个 2×2 最大池化层），一个有 128 个单元和 ReLu 激活的全连接层，以及一个最终的 Softmax 输出层（总参数为 33698）。采用交叉熵损失和随机梯度下降（SGD）优化算法训练 3NN 和 CNN，学习率为 0.01。

作者选择集中式学习、经典联邦学习方法作为基准方法。对于集中式方法，采用了支持向量机（SVM）、k - 最近邻（kNN）和随机森林（RF）等常用的机器学习方法。此外，还采用了集中式 3NN（c3NN）和集中式 CNN（cCNN）进行比较。对于个性化联邦学习，作者选择了两种被广泛采用的方法：联邦迁移学习（Federated Transfer Learning ，FTL）和联邦蒸馏（Federated Distillation，FD）。对于 FTL，每个客户端设备将使用其个人数据对从云服务器下载的模型进行微调。而在 FD 中，每个客户端可以根据自己的需求定制自己的模型。

图 10 给出了 30 个客户端在不同学习方法下的测试准确度。对于集中式方法，基于深度学习的方法（c3NN、cCNN）可以比传统的基于机器学习的方法（SVM、kNN 和 RF）获得更高的准确度。经典联邦学习（FL-CNN）中的边缘客户端在中央云服务器的协调下，能够在不损害数据隐私的前提下改进识别性能，并达到与 cCNN 类似的 85.22% 的识别率。FL-3NN 和 FL-CNN 与集中式模式相比性能略有下降，这是由于联邦学习环境中固有的统计异质性造成的。通过个性化的联邦学习，FTL 和 FD 都可以捕捉到用户细粒度的个人信息，并为每个参与者获得个性化的模型，从而获得更高的测试准确度。例如，FTL-3NN 识别率可达 95.37%，比 FL3NN 高 11.12%。

图 10. 不同学习方法在人体活动识别中的准确性研究

3.4 论文小结

本文提出了一个云边缘架构中的个性化联邦学习框架 PerFit，用于具有数据隐私保护的智能物联网应用。PerFit 能够通过聚合来自分布式物联网设备的本地更新并利用边缘计算的优点来学习全局共享模型。为了解决物联网环境中的设备、统计和模型的异构性，PerFit 可以自然地集成各种个性化联邦学习方法，从而实现物联网应用中设备的个性化处理并增强性能。通过一个人类活动识别任务的案例研究，作者证明了 PerFit 的有效性。

4、总结

在这篇文章中，我们聚焦了个性化联邦学习的问题。联邦学习是一个有效的处理分布式数据训练的解决方案，它能够通过聚集和平均本地计算的更新来协作训练高质量的共享全局模型。此外，联邦学习能够在不损害用户数据隐私的情况下学习得到令人满意的全局模型。然而，由于分布式处理方式的固有弊端，联邦学习面临设备异构性、数据异构性和模型异构性等问题，在实际推广应用中存在无法直接部署的风险。

个性化联邦学习的目的是根据不同设备的应用需求对其进行个性化模型部署，以解决各类异构性问题。本文选择了专门针对于设备异构性和模型异构性问题的两篇文章进行详细分析，最后还选择了一篇文章介绍在物联网应用的云边缘架构中使用的个性化联邦学习框架。由我们选择的几篇论文中作者进行的理论分析和实验给出的结果可以看出，个性化联邦学习确实可以改进经典联邦学习方法的效果，能够有效应对客户端设备中的各种异构性情况，甚至能够处理一些设备宕机 / 存储空间已满等临时性失效的问题。联邦学习在各类实际场景中都有着巨大的应用需求，我们会继续关注个性化联邦学习的技术发展和部署应用方法。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!