批量归一化的自适应联邦学习算法

针对联邦学习模型在训练过程中出现的客户端漂移以及协变量偏移的问题,提出一种基于批量归一化的自适应联邦学习算法。该算法融合参数自适应更新与批量归一化。在迭代的过程中,客户端本地模型通过自适应参数不断优化,从而缓解客户端漂移。通过批量归一化约束模型复杂度,算法收敛速度显著加快。使用时装数据集以及图像10分类数据集分别在卷积神经网络以及多层感知机网络模型上进行实验。结果表明,相较于经典的联邦平均算法,提出的算法在提升精度的同时加快了30%以上的收敛速度。在非独立同分布的数据实验中,该算法在设备低参与率的情况下也能够达到预期的效果。

基于域特定批量归一化的对抗域适应图像分类

无监督域适应(UDA)旨在将知识从带有大量标签的源域迁移到没有标签的目标域。目前的研究主要集中在统一两个域的特征分布上。然而,目标域通常具有更为复杂的背景信息,源域和目标域的全局特征分布并不相同,在源域和目标域之间直接共享整个网络强制全局分布对齐会导致性能的下降。针对此问题,提出了一种新的基于域特定批量归一化的对抗域适应模型。首先,采用对抗性学习损失模块,综合考虑域对齐和类别对齐,从对抗学习获得的混淆矩阵中自动构建一个新的损失函数来矫正自训练中的伪标签;其次,在卷积神经网络(CNN)的编码器架构中引入域特定批量归一化模块(DSBN),通过分离批量归一化层来分别适应源域和目标域。将域特定信息与域不变信息分离,更好地学习域不变特征表示,来获得更好的泛化性能。最后,本文的方法在Office-Home数据集和Office-31数据集的准确率分别达到67.4%和89.4%,验证了模型的有效性。

一种基于批量归一化的LeNet网络改进方法

针对传统LeNet卷积神经网络存在的学习效率低、收敛速度慢、训练时间长的问题,提出一种LeNet网络改进方法,在每层卷积之后进行批量归一化,再进行Dropout随机休眠神经元并使用全局池化层替代全连接层,通过以上方法减少运算参数,缓解梯度消失和过拟合问题,提升运行效率.通过在MNIST等3个数据集上实验表明,该改进方法相比传统的LeNet网络,可以更有效提取图像特征,效缩短训练时间,提升网络收敛速度.

基于批量重归一化去噪网络的地震信号消噪

随机噪声衰减是地震勘探中的一个关键步骤,针对大多数深层卷积网络用于压制地震勘探随机噪声性能易于饱和,导致无法从训练数据中学习或无法更新权重等问题,提出批量重归一化去噪网络(Batch-Renormalization Denoising Network,BRDNet)。通过结合两个并列的分支网络以增加网络宽度,从而获得更多特征,上层网络由残差学习(Residual Learning,RL)和批量重归一化(Batch Renormalization,BRN)组成,下层网络包括BRN、RL和扩张卷积。批量重归一化技术解决了内部协变量移位和小批量问题,采用整体方式的RL以及扩张卷积来促进网络训练,可提取更多特征进行去噪。人工合成记录和野外实际记录的处理结果表明:相较于f-k滤波,小波去噪,时频峰值(Time-Frequency Peak Filtering,TFPF)滤波及现有的深度卷积神经网络(DnCNN),BRDNet具有更好的噪声压制能力和保幅效果,能够有效提高地震数据的信噪比和分辨率,为下一步进行地震解释提供有力的保障。

融合Inception V1-CBAM-CNN的轴承剩余寿命预测模型

针对现有的滚动轴承剩余寿命(RUL)预测方法精度低、轴承健康指标(HI)构建困难等问题,提出了一种基于卷积神经网络(CNN)并融合Inception V1模块和卷积注意力机制模块(CBAM)的滚动轴承RUL预测模型。首先,在CNN中添加了CBAM机制,并进行了加权处理,在通道和空间维度对重要特征进行了强化,对次要特征进行了抑制,通过添加改进的InceptionV1模块,提高了CNN通道间信息交互水平,全面提取了退化特征;然后,进行了网络优化,采用全局最大池化(GMP)方法对模型进行了简化,采用Dropout和批量归一化(BN)方法,避免了过拟合,提高了精度,且克服了训练时出现的梯度消失问题;最后,对数据进行了处理,将降噪后的信号重组为三维张量,将其作为HI,构建了退化标签,引入了评价指标,采用PHM2012轴承数据集进行了实验验证,在3种工况下将其与深度神经网络(DNN)、CNN方法、结合注意力机制的残差网络方法(ResNet)进行了对比。研究结果表明:该方法在变负载条件下的平均RMSE为0.033,较其他方法的RMSE值分别降低了86%、78%和69%,在预测精度和泛化能力方面具有明显优势。

深度学习批归一化及其相关算法研究进展

深度学习已经广泛应用到各个领域,如计算机视觉和自然语言处理等,并都取得了明显优于早期机器学习算法的效果.在信息技术飞速发展的今天,训练数据逐渐趋于大数据集,深度神经网络不断趋于大型化,导致训练越来越困难,速度和精度都有待提升.2013年,Ioffe等指出训练深度神经网络过程中存在一个严重问题:中间协变量迁移(Internal covariate shift),使网络训练过程对参数初值敏感、收敛速度变慢,并提出了批归一化(Batch normalization,BN)方法,以减少中间协变量迁移问题,加快神经网络训练过程收敛速度.目前很多网络都将BN作为一种加速网络训练的重要手段,鉴于BN的应用价值,本文系统综述了BN及其相关算法的研究进展.首先对BN的原理进行了详细分析.BN虽然简单实用,但也存在一些问题,如依赖于小批量数据集的大小、训练和推理过程对数据处理方式不同等,于是很多学者相继提出了BN的各种相关结构与算法,本文对这些结构和算法的原理、优势和可以解决的主要问题进行了分析与归纳.然后对BN在各个神经网络领域的应用方法进行了概括总结,并且对其他常用于提升神经网络训练性能的手段进行了归纳.最后进行了总结,并对BN的未来研究方向进行了展望.

基于SVDD与VGG的纽扣表面缺陷检测

为解决纽扣表面缺陷检测中人工效率低下,且无需对纽扣表面瑕疵进行分类的问题,提出一种基于DEEP SVDD与改进VGG16的纽扣表面缺陷检测模型。在VGG16中增加BN层加快网络收敛;为提升网络特征提取能力引入SE注意力模块;使用全局平局池化替代全连接层,减少模型参数量,使模型更加健壮。实验结果表明,改进后的模型在DEEP SVDD中的两种方法软边界及一类方法的AUC值分别提升7.7%、5.9%,均高于96%,单张检测时间仅4.5 ms,模型性能满足实际要求。

基于URP-ANCNN的变转速齿轮箱智能故障诊断方法

由于齿轮箱振动信号在变转速工况下出现的调频、调幅等现象,使得信号征兆与故障模式之间的映射关系变得复杂,导致齿轮箱故障难以精确诊断。鉴于深度神经网络在自动提取数据特征和分类上的优势,提出一种基于无阈值递归图编码(Un-threshold Recurrence Plot,URP)和自适应归一化卷积神经网络(Adaptive Normalized Convolutional Neural Network,ANCNN)的变转速工况齿轮箱故障诊断方法。该方法先使用快速傅里叶变换(Fast Fourier Transform,FFT)将时域信号转化为频域信号,再利用URP编码将得到的频域信号转化为二维递归图,并提取图像特征输入到ANCNN模型。在ANCNN模型中,采用批量归一化算法消除因转速变化引起的特征分布差异,同时处理转速波动下产生的频移和调制特性,并使用遗传算法自动调整该网络模型的超参数,以提高该网络的整体性能。采用转速波动的齿轮箱试验数据对该方法进行验证,实验结果表明,该方法能够克服转速波动的影响,成功实现对不同齿轮故障的准确识别。

基于SimAM注意力机制的轴承故障迁移诊断模型

针对轴承故障在跨工况迁移诊断时,其域不变特征难以提取,易出现模型过拟合这一问题,提出了一种基于无参数注意力模块(SimAM)的轴承故障迁移诊断方法。首先,以一维卷积神经网络作为基本框架,利用自适应批量归一化(AdaBN)对各输出层进行了归一化处理,经两层卷积层和两层池化层后,对输出特征进行了随机节点失活操作;然后,利用改进后的参数化修正线性单元(PReLU)激活函数自适应提取负值输入权值系数,分别以交叉熵损失函数监督训练有标签的源域数据,以均方对数误差(MSLE)作为损失函数训练无标签的目标数据;最后,利用自制实验台数据和凯斯西储轴承公开数据对模型进行了验证,分别以不同的单一工况作为源域,其余工况作为目标域进行了迁移诊断任务研究。研究结果表明:基于SimAM的轴承故障迁移诊断方具有较好的域不变特征提取的性能,且所提特征具有较好的聚类效果;自制实验台中的平均迁移精度在89.1%以上,最高均值可达97.85%,CWRU数据集中的平均迁移精度达98.68%。该成果可为后续轴承故障由实验向工业现场的迁移诊断奠定基础。

基于可分离空洞卷积与联合归一化的语义分割算法研究

图像语义分割是图像理解的重要一环,已被广泛应用于自动驾驶等场景中.针对信息丢失和语义分割速度慢的问题,本文提出一种基于可分离空洞卷积和联合归一化的语义分割算法.首先结合可分离卷积和空洞卷积提取ResNet101的后三层输出,然后在语义分割中应用实例归一化方法,与应用批量归一化对比,验证了实例归一化的有效性,最后提出了两种联合归一化方法,验证了这两种归一化方法对语义分割效果的提升.本文方法在Pascal VOC 2012数据集进行了实验,结果表明,本文方法加速了网络的训练、验证和预测,交并集之比最高到达了80.62%.

基于多尺度特征融合和多头自注意力机制的非侵入式负荷监测

针对目前负荷分解模型的深层负荷特征提取不充分,分解精度低以及训练成本高等问题,提出了一种多尺度特征融合模型。模型由负荷分解子网络及负荷识别子网络两部分构成,两个子网络均利用一维卷积和批量归一化等组成的卷积块进行负荷特征初提取,然后采用金字塔池化模块从多个维度精确提取深层负荷特征信息,并与特征初提取部分进行融合。金字塔池化模块使网络参数大大减少且降低了训练成本。同时与以往模型中的注意力机制不同的是,网络引入多头自注意力机制,每个注意力关注负荷特征的不同部分,从多个角度实现对重要负荷特征的筛选,进一步提高分解性能。最后,在UK-DALE和REDD数据集上进行实验,结果表明所提模型与4个基准模型相比,无论是负荷分解性能还是电器运行状态识别能力都有明显提升。

结合AHP和BN的桥梁桩基破坏评估模型构建及应用

为了更好地对龙惠高速段的桥梁桩基破坏程度进行评估,实现桥梁安全稳定,达到对桥梁桩基的安全管理与及时维修的目的,在对桥梁桩基破坏勘测的基础上,结合层次分析法和批量归一化建立评估模型并对桥梁桩基破坏进行评估。分析表明,水位超过4 m后,桥梁桩基的损伤系数随着水位的增高而增高,且水位为7 m时,桥梁桩基的损伤系数为1.295。此外,桥梁桩基的损伤系数还随着渗透率的增加而增加,当渗透率为3.0%时,桥梁桩基的损伤系数相比于渗透率为0.5%时提高了0.11。

应用改进卷积神经网络的客户服务业务中台资源异常信息主动报警

针对客户服务业务中台资源异常信息人工诊断不及时、故障辨识率低等问题,提出一种基于改进卷积神经网络的故障诊断方法。卷积层后引入批量归一化层提高模型的泛化能力,在全连接层引入Droupout函数来缓解过拟合问题,还对数据进行了增强处理以及运用灰狼算法对超参数进行寻优。该模型在Pytorch和Pycharm环境下进行仿真,得出经典卷积神经网络的测试集准确率在85%左右,而改进后的测试集准确率在94%左右,表明所提设计具有明显效果。

卷积核归一化

批量归一化已被证明是深度学习模型中不可或缺的一层,可以有效处理深度神经网络训练过程中的内部协方差位移问题。但批量归一化算法的效果依赖于批的大小,当批较小时,批量归一化的效果较差。此外,批量归一化也带来了额外的计算量,需要更多的存储空间。为了解决这些问题,文中提出一种新的归一化算法——卷积核归一化,对权重的输出通道进行归一化,同样可以有效解决内部协方差位移问题。卷积核归一化不依赖于批的大小,并且不需要计算输入的均值和方差,相比批量归一化减少了75%至81%的计算量。实验证明,在批较小的时候,卷积核归一化训练收敛速度较快且准确率较高,比批量归一化高0.9%至12%;在批较大的时候,卷积核归一化与批量归一化最高准确率误差不超过1%。

基于自适配归一化的改进Mask Scoring R-CNN

基于批量归一化的mask scoring R-CNN在目标检测与实例分割领域展现出卓越性能,其平均精度明显高于传统实例分割模型Mask R-CNN。但是由于批量归一化方法存在小批量精度骤降和大批量GPU内存溢出的缺陷,影响到实际应用中的检测与分割任务效果。自适配归一化方法对各批量大小都有极佳的鲁棒性,可以弥补上述不足。从数学角度给出了减少自适配归一化中计算冗余的证明,并将其应用于mask scoring R-CNN,小批量条件下在COCO数据集内将检测精度提升了4.4%,分割精度提升了3.9%,进一步提升了模型性能。

基于中心损失-改进卷积自编码器的滚动轴承半监督故障诊断

当前基于深度学习的旋转机械故障诊断技术,凭借其强大的逐层加工和内置特征变换功能受到广泛关注,然而传统用于故障诊断的深度网络需要大量标签数据,且诊断结果依赖于标签的数量和准确性。为此,提出一种基于中心损失-改进卷积自编码器(center loss-improved convolutional auto-encoder, CL-ICAE)的半监督故障诊断方法。该方法首先利用连续小波变换将故障信号转换为时频图,细化故障特征表征;之后构建改进的卷积自编码器网络结构,并引入批量归一化(batch normalization, BN)和Dropout,在特征提取阶段防止过拟合;之后在分类阶段,通过将中心损失(center loss)引入Softmax损失函数,构建联合损失函数,使故障特征实现类内距离更小,特征差异更大,进一步提高分类精度。最后,将所提方法通过凯斯西储大学轴承数据集和轴承故障试验平台进行验证,结果表明在少量标签样本情况下,均可实现有效的故障诊断,提升诊断准确率。

基于投影权值归一化的立体图像质量评价方法

本文基于深度卷积神经网络和融合图像提出了一种引入投影权值归一化的立体图像质量评价方法.首先基于人眼双目竞争现象,提出对经过Gabor滤波后的左右视点图像进行彩色融合,从而得到单幅融合图像.卷积神经网络的输入即为预处理后的融合图像,通过卷积层自主对图像特征进行提取,采用池化层对特征信息降维,保留显著特征且减小网络计算复杂度;采用Re LU非线性激活函数缓解梯度消失,有效缓解了网络过拟合问题;网络引入数据批量归一化来规范各层输入数据的分布,引入投影权值归一化来保证权值参数的量级相同,有效地提升了算法的性能.本文在公开的立体图像库LIVE-Ⅰ和LIVE-Ⅱ上进行了实验.实验结果表明,本文方法在对称失真与非对称失真的立体图像质量评价上均具有较好的性能.

深度融合图像文本特征的文本引导图像修复

为解决现有文本引导图像修复模型在处理文本图像融合时模态间信息缺乏高效融合导致修复结果不真实且语义一致性差的问题,提出一种通过条件批量归一化融合图像文本特征实现文本引导的图像修复模型BATF。首先,通过空间区域归一化编码器对破损和未破损区域分别归一化,减少了直接特征归一化对均值方差偏移的影响;其次,将提取的图像特征与文本特征向量通过深度仿射变换进行融合,增强了生成器网络特征图的视觉语义嵌入,使图像和文本特征得到更有效的融合;最后,为增强修复图像的纹理真实性及语义一致性,设计了一种高效鉴别器并引入了目标感知鉴别器。在CUB bird这个带有文本标签的数据集上进行定量和定性实验表明,提出模型在PSNR(peak signal-to-noise ratio)、SSIM (structural similarity)以及MAE(mean absolute error)度量指标分别达到了20.86、0.836和23.832。实验结果表明,BATF模型对比现有的MMFL和ALMR模型效果更好,修复的图像既符合给定文本属性的要求又具有高度语义一致性。

基于改进的AlexNet模型的家用负载电弧检测

传统的电弧检测方法依赖人工设定阈值,存在误判的可能性,以及检测成功率不高等问题,提出了一种基于改进Alexnet深度学习卷积模型的电弧故障检测方法;该方法使用Adam算法代替SDG算法作为优化算法,加快模型的收敛速度,引入批量归一化算法,对数据进行归一化处理,改变卷积核的大小,减少网络参数数目。采用短时傅里叶变换(STFT)提取正常和故障时的电流信号时频信息,构建电流信号的时频图作为改进模型的输入,通过该改进的Alexnet模型实现电弧故障的检测。经过验证,该改进的模型电弧故障识别准确率能达到98%,并优于其他比较方法。

基于RN-CNN模型的低剂量CT图像去噪方法

低剂量CT在降低辐射剂量、减少对人体伤害的同时CT的成像质量也显著下降。因此提出一种基于ResNet的卷积神经网络(RN-CNN),用来去除低剂量CT中所含的量子噪声。在正常剂量的CT图像上加入泊松噪声模拟低剂量CT图像,将模拟的低剂量CT输入RN-CNN对图像进行特征提取,引入残差网络与尺度不变的空间金字塔池化(S-SPP),避免梯度消失问题并增加网络有效特征;使用扩张卷积增大网络的感受野,保留图像内部数据结构,得到更好的分割效果;将低剂量CT图像和噪声图像分离得到正常剂量CT图。通过实验表明,该算法不仅能有效去除噪声,而且纹理细节也得以保留,与现有的算法相比较,RN-CNN去噪方法在PSNR指标上平均提高1.80,在SSIM指标上平均提高了0.078 3。