大背景 面临的问题：1、隐私问题。2、非 IID 数据。2、无线网络通信资源有限。3、复杂的用户身份，训练过程面临着拜占庭设备的挑战，它可以向模型注入中毒信息

根据上一篇，FAug-FD 虽然工作良好，但当边缘设备上传本地原始数据以在云中训练全球数据生成器时，会导致私人数据泄露。此外，FAug-FD 只考虑 IID 数据和通信效率的要求，但仍忽略了拜占庭设备带来的安全挑战。

1、提出强大的联邦增强和联邦蒸馏 （RFA-RFD），2、在 RFA 和 RFD 中采用了检测和丢弃机制

总体思想：

RFA：是解决非 IID 本地数据问题的方法。首先在边缘设备上训练本地数据生成器，然后根据上传的本地生成器生成的 IID 数据集在云服务器中训练全局生成器，最后，设备通过下载全球生成器来纠正非 IID 数据集。在边缘设备中获取 IID 本地数据后，实施 RFD 。

RFD：以提高本地模型的性能，其中设备仅共享模型输出的本地信息，以减少通信开销。

在 RFA 和 RFD 中都采用了检测和丢弃机制，以实现拜占庭设备的稳健性

Robust 联邦增强

CVAE（有条件的 VAE），可以在每个边缘设备上生成特定标签的数据，本地 CVAE 模型包含Ei（编码器） 和 Gi（解码器/生成器），本地数据集接受训练，其中l表示第l个标签，Di是本地数据集的大小，是第d个本地数据样本。

在边缘设备上训练 CVAEs 后，解码器G1，...，GN上传到云服务器。然后，服务器控制解码器，生成具有相同编号的不同标签的数据样本D.让 表示由Gi使用第l个标签生成的数据集，其中是第d个生成的数据样本。要在不同的边缘设备之间共享数据信息，数据集同一标签融合成一个 IID 数据集.基于和他们的onehot向量的标签，训练全局CVAE E∗和G∗.最后，边缘设备下载G∗ 并生成数据 以形成本地 IID 数据集。

引入了检测和丢弃机制：在云服务器上，部署异常探测器来检测异常数据，其假设是恶意生成器的数量正常生成器。考虑到没有恶意生成器的训练数据集，选择无监督的异常探测器，例如聚类[16]、隐藏马尔可夫模型[10]和 iForest[17]。对于数据样本，异常分数由异常探测器计算。我们通过设置阈值来丢弃恶意的生成样本，并根据分布情况组织正常的生成样本，形成一个干净的 IID 数据集.

算法 1 Robust 联邦增强 （RFA）

robust 联邦蒸馏

Algorithm 2 Robust Federated Distillation (RFD)

实验结果

CVAE的编码器和解码器是 2 个卷积层，然后是边缘设备和云服务器中的 1 个全连接层。

RFD是一个 5 层 CNN (CNN-5)，具有 2 个卷积层、1 个最大池化层和 2 个全连接层。

无监督异常检测器，包括 K-means 、隐马尔可夫模型 (HMM) 和 iForest。

带有不同异常检测器的 RFA-RFD 显示出对拜占庭设备的强大鲁棒性。

通信开销：计算在上行链路和下行链路中传输的不同框架的每个设备的总比特数。 如表 I 所示，vanilla FL 的开销最高，用于传输总模型 s。 在上行链路中，与 FAug-FD 相比，我们的 RFA-RFD 需要传输更多的比特，但仍然比普通 FL 少得多。 FAug-FD 上的 RFA-RFD 的额外位来自上传生成器以避免上传私人本地数据