结合自适应步长策略和数据增强机制提升对抗攻击迁移性

深度神经网络具有脆弱性,容易被精心设计的对抗样本攻击.梯度攻击方法在白盒模型上攻击成功率较高,但在黑盒模型上的迁移性较弱.基于Heavy-ball型动量和Nesterov型动量的梯度攻击方法由于在更新方向上考虑了历史梯度信息,提升了对抗样本的迁移性.为了进一步使用历史梯度信息,本文针对收敛性更好的Nesterov型动量方法,使用自适应步长策略代替目前广泛使用的固定步长,提出了一种方向和步长均使用历史梯度信息的迭代快速梯度方法(Nesterov and Adaptive-learning-rate based Iterative Fast Gradient Method,NAI-FGM).此外,本文还提出了一种线性变换不变性(Linear-transformation Invariant Method,LIM)的数据增强方法 .实验结果证实了NAI-FGM攻击方法和LIM数据增强策略相对于同类型方法均具有更高的黑盒攻击成功率.组合NAI-FGM方法和LIM策略生成对抗样本,在常规训练模型上的平均黑盒攻击成功率达到87.8%,在对抗训练模型上的平均黑盒攻击成功率达到57.5%,在防御模型上的平均黑盒攻击成功率达到67.2%,均超过现有最高水平.

基于噪声初始化、Adam-Nesterov方法和准双曲动量方法的对抗样本生成方法

深度神经网络在多种模式识别任务上都取得了巨大突破,但相关研究表明深度神经网络存在脆弱性,容易被精心设计的对抗样本攻击.本文以分类任务为着手点,研究对抗样本的迁移性,提出基于噪声初始化、Adam-Nesterov方法和准双曲动量方法的对抗样本生成方法.本文提出一种对抗噪声的初始化方法,通过像素偏移方法来预先增强干净样本的攻击性能.同时,本文使用Adam-Nesterov方法和准双曲动量方法来改进现有方法中的Nesterov方法和动量方法,实现更高的黑盒攻击成功率.在不需要额外运行时间和运算资源的情况下,本文方法可以和其他的攻击方法组合,并显著提高了对抗样本的黑盒攻击成功率.实验表明,本文的最强攻击组合为ANI-TI-DIQHM*(其中*代表噪声初始化),其对经典防御方法的平均黑盒攻击成功率达到88.68%,对较为先进的防御方法的平均黑盒攻击成功率达到82.77%,均超过现有最高水平.

动态自适应学习率优化的卷积神经网络轴承故障诊断方法

滚动轴承的工作转速和载荷很多时候是变化的,基于先验知识的诊断方法很难取得令人满意的分类效果。针对这一问题,提出了基于Nesterov动量的自适应卷积神经网络,用于轴承故障诊断。首先,将网络中传统动量规则替换为Nesterov动量,改善传统方法容易错过最优解问题。其次,为了改善网络泛化能力,设计了一种根据误差变化率动态调整学习率的自适应学习率规则。最后,将采集到的原始数据直接输入到提出的网络中训练故障诊断模型,并利用测试数据对模型进行评测。实验结果表明,提出的优化方法改善了神经网络的收敛性,提高了轴承故障分类精度。

独立自适应学习率优化深度信念网络在轴承故障诊断中的应用研究

对机械装备轴承等关键对象的健康状态监测正在步入大数据、智能化时代。传统的轴承故障诊断方法大多数依靠人工提取特征,这需要依赖于复杂的信号处理方法以及丰富的专业经验积累。深度学习方法作为一种可以学习数据深层次特征的新的机器学习方法,将其引入机械故障诊断领域,并对其运行效率、故障识别精度进行提升,将进一步提高基于深度学习方法在故障诊断领域的实用性。提出一种基于Nesterov动量法的独立自适应学习率优化的深度信念网络,引入Nesterov动量法代替传统动量法预测参数下降的位置,控制参数达到最优点的速度,避免了传统动量法引起的错过最优点问题;利用独立自适应学习率在梯度更新时自适应选择下降步长,加快模型训练,提高模型的泛化能力。试验结果表明,在诊断精度上,相比支持向量机和标准深度信念网络,提出的方法对不同载荷工况下轴承故障识别均获得了最高的精度;在运行效率上,相比现有一些优化算法,该优化模型能够稳定有效的加快模型训练速度,提升深度信念网络的泛化能力,有效地实现轴承故障诊断。