自适应加噪反向传播算法研究

提出了一种对三层前向感知器的权重修正值注入自适应噪声的方法。在误差反向传播训练过程中 ,感知器权重的噪声幅度随权梯度值下降而趋近于零。不论是仅采用权重加噪的方法还是同时进行训练集输入端及权重加噪的方法 ,都能显著提高神经网络的泛化能力 。

基于差分隐私的分段裁剪联邦学习算法

为解决现有的差分隐私联邦学习算法中使用固定的裁剪阈值和噪声尺度进行训练,从而导致数据隐私泄露、模型精度较低的问题,提出了一种基于差分隐私的分段裁剪联邦学习算法。首先,根据客户端的隐私需求分为隐私需求高和低。对于高隐私需求用户使用自适应裁剪来动态裁剪梯度,而低隐私需求用户则采用比例裁剪。其次根据裁剪后阈值大小自适应地添加噪声尺度。通过实验分析可得,该算法可以更好地保护隐私数据,同时通信代价也低于ADP-FL和DP-FL算法,并且与ADP-FL和DP-FL相比,模型准确率分别提高了2.25%和4.41%。

基于CEEMDAN-SE-TCN的集群资源预测研究

针对服务器集群负载数据的波动性和非线性特点,提出一种基于CEEMDAN-SE-TCN的预测算法。该算法首先将原始服务器集群数据经过自适应加噪集合经验模态分解(CEEMDAN),有效降低负载序列复杂度。然后,在得到分解后的相关IMF分量后,利用相关系数法将各IMF分量与原始序列进行比较,去除相关性较弱的分量。最后,提取各分量相应的特征值输入并加入注意力机制的时间卷积网络(SE-TCN)进行建模预测。通过Google集群数据集中的CPU负载率序列实测证明,在同等条件下CEEMDAN-SE-TCN模型整体优于其他基准模型,MAPE指标相较于其他模型分别降低7.1%、6.5%、2.5%,证明了该算法的有效性和可行性。