当传统联邦学习面临异构性挑战，不妨尝试这些个性化联邦学习算法

首先，在内部层，每个客户端 i 求解公式（3）以获得其个性化模型，其中 w^t_(i,r)表示客户端 i 在全局轮次 t 和局部轮次 r 的局部模型。与 FedAvg 类似，本地模型的目的是帮助构建全局模型，减少客户端和服务器之间的通信轮数。其次，在外部层面，使用随机梯度下降的客户端 i 的局部更新是关于 F_i（而不是 f_i）的，如下所示

此外，作者还提出在实际场景中应用时，一般采用满足下面约束的δ近似的个性化模型：

第二，获取封闭形式的个性化模型是很困难的，相反，通常使用迭代一阶方法来获得高精度的近似值：

选择λ，令 h_i 是条件数为 k 的强凸，然后可以应用梯度下降（例如，奈斯特罗夫加速梯度下降（Nesterov’s accelerated

gradient descent)））以获得个性化模型：

pFedMe 中每个客户端的计算复杂度是 FedAvg 的 K 倍。

2.2 实验分析

本文实验考虑了一个使用真实（MNIST）和合成数据集的分类问题。MNIST 是一个手写数字数据集，包含 10 个标签和 70000 个实例。由于 MNIST 数据量的限制，作者将完整的 MNIST 数据集分发给 N=20 个客户端。为了根据本地数据大小和类别对异构设置进行建模，每个客户端都被分配了一个不同的本地数据大小，范围为 [1165;3834]，并且只有 10 个标签中的 2 个。对于合成数据，作者采用数据生成和分布过程，使用两个参数 α=0.5 和β=0.5 来控制每个客户端的本地模型和数据集的差异。具体来说，数据集使用 60 维实值数据为 10 类分类器提供服务。每个客户端的数据大小在[250;25810] 范围内。最后，将数据分发给 N=100 个客户端。

作者对 pFedMe、FedAvg 和 Per-FedAvg 进行了比较。MNIST 数据集中的实验结果见图 4。pFedMe 的个性化模型在强凸设置下的准确率分别比其全局模型 Per-FedAvg 和 FedAvg 高 1.1%、1.3% 和 1.5%。非凸设置下的相应数据为 0.9%、0.9% 和 1.3%。

图 4. 使用 MNIST 的 pFedMe、FedAvg 和 Per-FedAvg 在μ- 强凸和非凸设置下的性能比较

对于合成数据集，利用相同参数和微调参数的比较结果见图 5。在图 5 中，尽管 pFedMe 的全局模型在测试准确率和训练损失方面表现不如其他模型，但 pFedMe 的个性化模型仍然显示出它的优势，因为它获得了最高的测试准确率和最小的训练损失。图 5 显示，pFedMe 的个性化模型比其全局模型 Per-FedAvg 和 FedAvg 的准确率分别高出 6.1%、3.8% 和 5.2%。

图 5. 使用合成数据集的 pFedMe、FedAvg 和 Per-FedAvg 在μ- 强凸和非凸设置下的性能比较

从实验结果来看，当客户端之间的数据是非独立同分布（Non-IID）时，pFedMe 和 Per-FedAvg 都获得了比 FedAvg 更高的测试准确度，因为这两种方法允许全局模型针对特定客户端进行个性化处理。通过多次梯度更新近似优化个性化模型从而避免计算 Hessian 矩阵，pFedMe 的个性化模型在收敛速度和计算复杂度方面比 Per-FedAvg 更具优势。

2.3 论文小结

本文提出了一种个性化联邦学习方法 pFedMe。pFedMe 利用了 Moreau envelope 函数，该函数有助于将个性化模型优化从全局模型学习中分解出来，从而使得 pFedMe 可以类似于 FedAvg 更新全局模型，但又能根据 t 每个客户端的本地数据分布并行优化个性化模型。理论结果表明，pFedMe 可以达到最快的收敛加速率。实验结果表明，在凸和非凸环境下，使用真实和合成数据集，pFedMe 的性能都优于经典 FedAvg 和基于元学习的个性化联邦学习算法 Per-FedAvg。

三、Personalized Federated Learning for Intelligent IoT Applications: A Cloud-Edge based Framework

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!