融合Inception V1-CBAM-CNN的轴承剩余寿命预测模型

针对现有的滚动轴承剩余寿命(RUL)预测方法精度低、轴承健康指标(HI)构建困难等问题,提出了一种基于卷积神经网络(CNN)并融合Inception V1模块和卷积注意力机制模块(CBAM)的滚动轴承RUL预测模型。首先,在CNN中添加了CBAM机制,并进行了加权处理,在通道和空间维度对重要特征进行了强化,对次要特征进行了抑制,通过添加改进的InceptionV1模块,提高了CNN通道间信息交互水平,全面提取了退化特征;然后,进行了网络优化,采用全局最大池化(GMP)方法对模型进行了简化,采用Dropout和批量归一化(BN)方法,避免了过拟合,提高了精度,且克服了训练时出现的梯度消失问题;最后,对数据进行了处理,将降噪后的信号重组为三维张量,将其作为HI,构建了退化标签,引入了评价指标,采用PHM2012轴承数据集进行了实验验证,在3种工况下将其与深度神经网络(DNN)、CNN方法、结合注意力机制的残差网络方法(ResNet)进行了对比。研究结果表明:该方法在变负载条件下的平均RMSE为0.033,较其他方法的RMSE值分别降低了86%、78%和69%,在预测精度和泛化能力方面具有明显优势。

基于BN-DBN的网络安全态势要素获取机制

为了提高深度信念网络(DBN)的收敛速度以及提高小样本条件下的态势要素的获取精度,提出一种基于批量归一化(BN)的DBN安全态势要素获取机制。一方面在DBN中加入BN以解决梯度消失问题并稳定网络训练;另一方面在DBN输出层提出一种改进的主动学习(IAL)算法反向微调DBN,在每次迭代中主动选择训练样本来平衡样本种类。理论分析和实验数据仿真结果表明该机制能够解决DBN收敛速度过慢、梯度消失以及小类样本分类不准确问题,同时在获取精度、收敛速度以及算法复杂度上优于未改进的DBN态势要素获取机制。

应用改进卷积神经网络的客户服务业务中台资源异常信息主动报警

针对客户服务业务中台资源异常信息人工诊断不及时、故障辨识率低等问题,提出一种基于改进卷积神经网络的故障诊断方法。卷积层后引入批量归一化层提高模型的泛化能力,在全连接层引入Droupout函数来缓解过拟合问题,还对数据进行了增强处理以及运用灰狼算法对超参数进行寻优。该模型在Pytorch和Pycharm环境下进行仿真,得出经典卷积神经网络的测试集准确率在85%左右,而改进后的测试集准确率在94%左右,表明所提设计具有明显效果。

BN对VGG神经网络的影响研究

文章针对在训练目前卷积神经网络中较为主流的深度神经网络VGG网络模型时调参艰难、收敛较慢的问题,引入批归一化(batch normalization,BN)进行改进。批归一化能提高网络训练的初始学习率上限,同时加快模型收敛速度。相关实验结果表明,在端对端训练或者微调神经网络过程中应用批归一化,能较好地达到优化目的,同时指出在VGG网络中所有激活层前进行批归一化能得到最好的效果。另外VGG网络的优化方法会影响到批归一化,使用改进的基于动量的随机梯度下降能使网络训练时的波动更小。

基于IndRNN与BN的深层图像描述模型

现有图像描述模型存在解码端层次不深、训练效率低下的问题,且生成的描述语句在语言连贯性和内容多样性方面效果欠佳,为此,提出一种基于独立循环神经网络的深层图像描述模型Deep-NIC。采用独立循环神经元与批标准化方法构建解码单元,通过解码单元的多层叠加建立深层解码端。使用谷歌inception V3作为编码端,构建深层图像描述模型。在数据集MS COCO2014上进行对比实验,结果表明,与基线模型相比,Deep-NIC模型的BLEU-4、METEOR、CIDER评分分别提升3.2%、10.3%、8.18%,其更容易训练且具有更好的拟合效果。

BN-cluster:基于批归一化的集成算法实例分析

批归一化训练技术是训练现代神经网络的重要技术之一。它通过归一化各个隐藏层的均值和方差,减少了梯度爆炸或消失现象的发生。然而批归一化技术统计的均值和方差依赖于每一个mini batch的数据分布,导致训练时稳定性较差。提出了BN-cluster算法,基于构建块的思想设计了卷积神经网络框架用于分类图像数据集。分析了批归一化问题,统计了每一个批归一化输出结果均值的方差,并且设计了基于批归一化参数聚类的卷积神经网络集成算法,实验结果证明采用集成学习的方法确定批归一化的参数,网络在各个数据集上的训练波动均有所降低,保证了在不降低原有性能的同时使网络的收敛更加稳定、快速。

基于中心损失-改进卷积自编码器的滚动轴承半监督故障诊断

当前基于深度学习的旋转机械故障诊断技术,凭借其强大的逐层加工和内置特征变换功能受到广泛关注,然而传统用于故障诊断的深度网络需要大量标签数据,且诊断结果依赖于标签的数量和准确性。为此,提出一种基于中心损失-改进卷积自编码器(center loss-improved convolutional auto-encoder, CL-ICAE)的半监督故障诊断方法。该方法首先利用连续小波变换将故障信号转换为时频图,细化故障特征表征;之后构建改进的卷积自编码器网络结构,并引入批量归一化(batch normalization, BN)和Dropout,在特征提取阶段防止过拟合;之后在分类阶段,通过将中心损失(center loss)引入Softmax损失函数,构建联合损失函数,使故障特征实现类内距离更小,特征差异更大,进一步提高分类精度。最后,将所提方法通过凯斯西储大学轴承数据集和轴承故障试验平台进行验证,结果表明在少量标签样本情况下,均可实现有效的故障诊断,提升诊断准确率。

基于改进Inception-ResNet的加密流量分类方法

基于深度学习的加密流量分类方法中的分类模型大多是深层直筒型结构,存在梯度消失的问题,且网络层数的增加会使模型结构和计算的复杂度显著上升。为此,提出了一种基于改进Inception-ResNet的加密流量分类方法。该方法通过改进Inception模块,并将该模块作为残差块以残差结构连接的方式嵌入卷积神经网络来构建分类模型;此外,改进分类模型的损失函数,并使用VPN-nonVPN数据集来验证所提方法的有效性。实验结果表明,所提方法在2种场景的分类实验中的精确率、召回率、F1值分别达到了94.21%、92.53%和93.31%以上。在与其他方法的对比实验中,以分类难度最大的12分类实验为例,所提方法比C4.5决策树算法和1D-CNN(1 Dimensional-Convolutional Neural Network)在精确率上分别高出13.91和9.50个百分点,在召回率上分别高出14.87和1.59个百分点。与CAE(Convolutional Auto Encoding)和SAE (Stacked Auto Encoder)等方法相比,所提方法虽然在各项指标上没有明显提升,但在单次训练时长上却有明显缩短,充分表明了所提方法的先进性。

基于层间融合的神经网络访存密集型层加速

近年来,随着深度神经网络在各领域的广泛应用,针对不同的应用场景,都需要对神经网络模型进行训练以获得更优的参数,于是对训练速度的需求不断提升。然而,现有的研究通常只关注了计算密集型层的加速,忽略了访存密集型层的加速。访存密集型层的操作主要由访存带宽决定执行效率,单独提升运算速度对性能影响不大。本文从执行顺序的角度出发,提出了将访存密集型层与其前后的计算密集型层融合为一个新层执行的方式,将访存密集型层的操作作为对融合新层中输入数据的前处理或输出数据的后处理进行,大幅减少了访存密集型层在训练过程中对片外内存的访问,提升了性能;并针对该融合执行方案,设计实现了一个面向训练的加速器,采用了暂存前处理结果、后处理操作与计算密集型层操作并行执行的优化策略,进一步提升了融合新层的训练性能。实验结果显示,在面积增加6.4%、功耗增加10.3%的开销下,训练的前向阶段、反向阶段的性能分别实现了67.7%、77.6%的提升。

全连接残差网络武器站决策方法

武器站是一种可以远程操作的新型武器系统,装备有多种武器组合,当确认目标时,使用合适的武器实施攻击。当前武器的使用决策大多由指挥员凭借人工经验做出判断,缺乏自主能力以及无法处理各种复杂战场态势信息。针对上述问题,提出了一种基于深度学习的全连接残差网络武器站自主决策方法。将影响武器站决策的主要因素作为输入,以全连接神经网络为基础,加入批量标准化优化算法、丢弃层以及残差模块(ResNet)构建模型,比较了模型输出与样本标签,分析了训练样本数目对模型精度的影响,对比了3种不同训练数据量下的模型在同一测试集下的准确率与损失变化情况。模型验证与仿真表明,该模型可以进行武器站自主决策。

基于多层感知器的分布式光伏发电系统发电量预估

针对光伏发电有着间隔性、不确定性以及波动性等问题,研究了一种基于多层感知器的光伏发电预测系统来提高光伏发电的稳定性和连接性。首次将多层感知器引入光伏发电量预测领域,大幅提高了光伏功率预测效果。在多层感知器模块内加入批归一化层,采用远程监控系统、二次控制回路、云图装置、定位装置、测控装置、计量装置以及一些综合自动化技术提高发电量预测的准确率。最终通过对各目标参数的考量,实现对分布式光伏发电系统发电量的实时预测,减少对居民用电的影响。试验结果表明,对光伏功率的预测精准度在九成以上,为下一步技术研究提供思路。

一种基于神经网络的太阳能电池板缺陷检测方法

研究一种基于神经网络的太阳能电池板缺陷检测方法,利用DenseNet网络模型对缺陷进行检测,在该模型中加入转换器保证相邻模块间的大小,融入L2正则化可以在一定程度上避免过拟合现象,调整Batch Normalization层在避免梯度消失的同时加快收敛速度,使用SELU激活函数可以提高模型的鲁棒性。

深度学习批归一化及其相关算法研究进展

深度学习已经广泛应用到各个领域,如计算机视觉和自然语言处理等,并都取得了明显优于早期机器学习算法的效果.在信息技术飞速发展的今天,训练数据逐渐趋于大数据集,深度神经网络不断趋于大型化,导致训练越来越困难,速度和精度都有待提升.2013年,Ioffe等指出训练深度神经网络过程中存在一个严重问题:中间协变量迁移(Internal covariate shift),使网络训练过程对参数初值敏感、收敛速度变慢,并提出了批归一化(Batch normalization,BN)方法,以减少中间协变量迁移问题,加快神经网络训练过程收敛速度.目前很多网络都将BN作为一种加速网络训练的重要手段,鉴于BN的应用价值,本文系统综述了BN及其相关算法的研究进展.首先对BN的原理进行了详细分析.BN虽然简单实用,但也存在一些问题,如依赖于小批量数据集的大小、训练和推理过程对数据处理方式不同等,于是很多学者相继提出了BN的各种相关结构与算法,本文对这些结构和算法的原理、优势和可以解决的主要问题进行了分析与归纳.然后对BN在各个神经网络领域的应用方法进行了概括总结,并且对其他常用于提升神经网络训练性能的手段进行了归纳.最后进行了总结,并对BN的未来研究方向进行了展望.

基于双向LSTM的维吾尔语事件因果关系抽取

针对传统方法不能有效抽取维吾尔语事件因果关系的问题,该文提出一种基于双向LSTM(Bidirectional Long Short-Term Memory,Bi LSTM)的维吾尔语事件因果关系抽取方法。通过对维吾尔语语言以及事件因果关系特点的研究,提取出10项基于事件内部结构信息的特征;同时为充分利用事件语义信息,引入词嵌入作为Bi LSTM的输入,提取事件句隐含的深层语义特征并利用批样规范化(Batch Normalization,BN)算法加速Bi LSTM的收敛;最后融合这两类特征作为softmax分类器的输入进而完成维吾尔语事件因果关系抽取。实验结果表明,该方法用于维吾尔语事件因果关系的抽取准确率为89.19%,召回率为83.19%,F值为86.09%,证明了该文提出的方法在维吾尔语事件因果关系抽取上的有效性。

基于生成对抗网络的模糊密钥加密通信研究

解决模糊密钥加密通信问题,并利用生成对抗网络的方法初步实现对称密钥下的模糊密钥加密通信方案。首先利用神经网络实现两方模糊密钥加密通信,实现16 bit密钥对称加密通信中6 bit密钥差异的模糊密钥加密通信。在此基础上考虑敌手存在的模糊密钥加密通信模型,利用GAN思想对通信双方与敌手进行对抗训练,实现16 bit密钥对称加密通信中4 bit密钥差异的模糊密钥通信,实验所得模型中通信双方可正常通信而敌手在可获取密文情况下无法获取明文信息。实验证明了利用神经网络与生成对抗网络解决模糊密钥加密通信问题的可行性。

基于优化卷积神经网络结构的交通标志识别

现有算法对交通标志进行识别时,存在训练时间短但识别率低,或识别率高但训练时间长的问题。为此,综合批量归一化(BN)方法、逐层贪婪预训练(GLP)方法,以及把分类器换成支持向量机(SVM)这三种方法对卷积神经网络(CNN)结构进行优化,提出基于优化CNN结构的交通标志识别算法。其中:BN方法可以用来改变中间层的数据分布情况,把卷积层输出数据归一化为均值为0、方差为1,从而提高训练收敛速度,减少训练时间;GLP方法则是先训练第一层卷积网络,训练完把参数保留,继续训练第二层,保留参数,直到把所有卷积层训练完毕,这样可以有效提高卷积网络识别率;SVM分类器只专注于那些分类错误的样本,对已经分类正确的样本不再处理,从而提高了训练速度。使用德国交通标志识别数据库进行训练和识别,新算法的训练时间相对于传统CNN训练时间减少了20.67%,其识别率达到了98.24%。所提算法通过对传统CNN结构进行优化,极大地缩短了训练时间,并具有较高的识别率。

基于时空图卷积网络的交通事故风险预测研究

交通事故的预测是通过对过去路段发生的交通事故进行分析,在综合考虑影响交通事故的相关因素后,对未来路段的交通事故发生状态进行预测。以往的大多数研究通常采用传统机器学习方法或单一深度学习模型预测法,利用网格化确定预测空间的单位,忽略了影响交通事故的天气、路况等外部因素,导致模型的预测性能不佳。提出一种基于时空特性的城市交通事故风险预测模型,在模型中使用改进的时空图卷积网络,利用图卷积网络(GCN)提取空间相关特征,并加入批标准化层解决梯度消失爆炸问题。在时间维度上采用门控线性单元(GLU)实现一维卷积操作,提取时间相关特征,并将GCN和GLU组合成时空卷积模块提取时空相关特征,使用均方误差损失函数解决样本数据零膨胀问题。实验结果表明,与GLU、SDCAE和ConvLSTM模型相比,该模型的RMSE指标分别降低了28%、4.87%、4.19%,能有效捕获时空相关性,综合性能得到较大提升。

融合双流三维卷积和注意力机制的动态手势识别

得益于计算机硬件以及计算能力的进步,自然、简单的动态手势识别在人机交互方面备受关注。针对人机交互中对动态手势识别准确率的要求,该文提出一种融合双流3维卷积神经网络(I3D)和注意力机制(CBAM)的动态手势识别方法CBAM-I3D。并且改进了I3D网络模型的相关参数和结构,为了提高模型的收敛速度和稳定性,使用了批量归一化(BN)技术优化网络,使优化后网络的训练时间缩短。同时与多种双流3D卷积方法在开源中国手语数据集(CSL)上进行了实验对比,实验结果表明,该文所提方法能很好地识别动态手势,识别率达到了90.76%,高于其他动态手势识别方法,验证了所提方法的有效性和可行性。

卷积神经网络训练访存优化

虽然批归一化算法能有效加速深度卷积网络模型的收敛速度,但其数据依赖性复杂,训练时会导致严重的“存储墙”瓶颈。故对使用批归一化算法的卷积神经网络,提出多层融合且重构批归一化层的训练方法,减少模型训练过程中的访存量。首先,通过分析训练时批归一化层的数据依赖、访存特征及模型训练时的访存特征,分析访存瓶颈的关键因素;其次,使用“计算换访存”思想,提出融合“卷积层+批归一化层+激活层”结构的方法,并基于批归一化层的计算访存特征,将其重构为两个子层,分别与相邻层融合,进一步减少训练时对主存的读写,并构建了训练时的访存量模型与计算量模型。实验结果表明,使用NVIDIA TESLA V100 GPU训练ResNet-50、Inception V3及DenseNet模型时,同原始训练方法相比,其访存数据量分别降低了33%,22%及31%,V100的实际计算效率分别提升了20.5%,18.5%以及18.1%。这种优化方法利用了网络结构与模型训练时的访存特点,可与其他访存优化方法协同使用,进一步降低模型训练时的访存量。

基于深度卷积神经网络的图像超分辨率重建方法

为了更好地对图像进行分辨率增强,提出了一种基于卷积神经网络的图像超分辨率算法。该方法在将输入图像进行归一化后,主要通过残差学习、取消批规范化结构的方式构建深层神经网络,并进行训练。通过主客观对比实验验证了该设计的图像超分辨率增强方法的有效性,以及相较于其他传统同类方法的优越性。