基于动态加权卷积长短时记忆网络的滚动轴承剩余寿命预测方法

现有数据驱动方法在滚动轴承剩余使用寿命预测中,因不能有效提取对轴承退化过程敏感的特征信息而导致预测精度不足。为此提出一种基于动态加权卷积长短时记忆网络(DW-CNN-LSTM)的滚动轴承剩余寿命预测方法。对滚动轴承振动信号进行小波包分解,将获得的小波包系数矩阵通过可训练参数动态加权层进行动态加权,来实现对轴承退化的表征信息进行有效筛选,以增强轴承振动特征学习能力;利用卷积神经网络的自适应挖掘数据深层特征能力,从动态加权后的小波包系数矩阵中提取对轴承退化过程敏感的特征集;借助长短时记忆网络(LSTM)预测时间信息序列的优势,由双层LSTM进一步提取其高维退化特征,来提高滚动轴承剩余寿命预测精度。对XJTU-SY轴承数据和IMS轴承数据的试验结果表明,所提DW-CNN-LSTM方法相比于经典的长短时记忆网络方法,其均方根误差指标平均降低了61.08%,预测准确度平均提高了9.95%,模型训练时间平均减少了44.14%,获得了较满意的寿命预测精度和鲁棒性。

注意力卷积长短时记忆网络的弱小目标轨迹检测

红外弱小目标的轨迹检测是红外导引的一项关键技术,在小天体探测、导弹制导和战场侦察等航空航天领域具有重要地位。针对传统基于检测前跟踪技术的轨迹搜索算法存在需要事先获取目标的灰度分布函数或运动速度等先验知识限定条件的问题,提出了基于注意力机制卷积长短时记忆神经网络的弱小目标轨迹检测算法。这种算法通过3D卷积核提取连续15帧红外图像序列的短期时间维信息和空间维信息,结合卷积长短时记忆网络提取红外序列的长期时空信息,利用注意力机制关注与弱小目标运动轨迹有关的关键信息并舍弃无关信息,实现了网络端对端的预测输出。在5个红外图像序列上进行了均方根误差、平均绝对误差、峰值信噪比和结构相似度等4个客观度量指标的实验评估。结果表明,基于输出门注意力机制的卷积长短时记忆网络在均方根误差和平均绝对误差上相对于3DCNN,3D-ConvLSTM,3D-AIConvLSTM方法平均降低了32.8%和46.3%,在峰值信噪比和结构相似度指标上平均提高了18.3%和4.3%,能够优秀地检测低于6 pixel红外目标的运动轨迹,预测轨迹与真实轨迹非常吻合,且背景杂波残留最少,检测效果最优。

基于时空采样的卷积长短时记忆网络模型及其应用研究

鉴于人体动作识别在现实社会中的重大意义,为了进一步提高动作识别的能力,在研究长短时记忆神经网络及卷积神经网络的基础上,建立时空相关的卷积长短时记忆网络模型,该模型不仅具有LSTM的时序建模能力,还具有CNN刻画局部特征空间的能力,同时具备时空特性。运用该模型在KTH数据库上进行实验,并提出三种时间采样方式,最后与他人的方法进行比较,发现该模型在KTH动作识别上取得了较高的识别率。

基于卷积长短时记忆深度神经网络的带内全双工非线性数字自干扰消除

带内全双工(IBFD)技术能够有效提高无线通信系统的频谱效率,近年来引起了广泛关注。然而,同时发送和接收引起的线性和非线性自干扰给IBFD带来了巨大挑战。传统的非线性自干扰消除主要是基于多项式模型和深度神经网络(DNN)来实现。多项式模型方法存在模型失配导致自干扰效果恶化的风险,而DNN方法无法针对高维数据特有的空频相关性、时间相关性等特点进行处理。该文基于卷积长短时记忆深度神经网络(CLDNN),通过在输入层中引入3维张量以及在卷积层设置复数卷积层结构,分别设计了两种重建自干扰信号的网络结构——2维CLDNN(2D-CLDNN)和复值CLDNN(CV-CLDNN),充分利用卷积神经网络局部感知和权值共享的优势,在高维特征中学习到更抽象的低维特征,从而提高自干扰消除的效果。实际场景中获得数据的评估结果显示,当功率放大器记忆长度M和自干扰信道多径长度L满足M+L=13时,通过总共60次训练轮数,该文提出的结构比传统DNN方法在非线性自干扰消除方面可以实现至少26%的改进,训练轮数也有明显减少。

确定性网络5G-A终端时延预测

工业控制场景下5G-A终端传输时延是确定性网络能力的直接表征之一,时延预测对提高网络确定性至关重要。由于传输时延序列的不稳定性和随机性,单一模型难以准确预测。针对该问题,提出一种基于优化变分模态分解(Variational Mode Decomposition, VMD)和卷积注意力长短时记忆网络(Convolutional Attention Long Short Term Memory Network, CA-LSTM)的传输时延预测方法。为提高VMD的分解性能,利用相关系数检验法确定时延序列分解的模态数,并利用蝗虫优化寻优分解的惩罚因子和保真度系数;设计CA-LSTM网络,借助卷积滤波器以及注意力机制使得网络具备分辨时延特征重要程度的能力;将各模态预测值重建成一维时延值得到预测结果。实验研究结果表明,优化VDM能够将5G终端传输时延序列有效分解,结合CA-LSTM模型相比于经典LSTM在MSE、RMSE和MAE上分别提升了37.1%、21.3%和23.6%。

基于CNN-BiLSTM混合神经网络的雷达信号调制方式识别

针对具有时频特性的雷达信号,传统的雷达信号识别方法已经无法满足对信号类型精准识别的需求,因此需要通过采集并分析雷达信号脉内的时频特征实现对目标雷达的具体信息进行有效评估。设计了一种卷积-双向长短时记忆(Convolution-Bidirectional Long Short-Term Memory,CNN-BiLSTM)混合神经网络模型,主要通过BiLSTM的时序记忆特性深度挖掘雷达信号的时域特征,结合权值共享特性和CNN层捕获雷达信号的时频特征,再利用二者信号特征联合完成对雷达信号调制方式的识别。通过对比实验验证,所提方法对若干种雷达信号的识别具有较高的准确度,平均值达到95.349%;优于只使用单一特征的网络和传统算法,具有良好的抗噪声能力。

基于注意力的时空神经网络城市区域交通流量预测

可靠的交通流量预测在交通管理和公共安全方面具有重要意义。然而,这也是一件具有挑战性的任务,因为它易受到空间依赖性、时间依赖性以及一些额外因素(天气和突发事件等)的影响。现有的大部分工作只考虑了交通数据的部分属性,导致建模不充分,预测性能不理想。因此,提出了一种新的端到端的深度学习模型——时空注意力卷积长短期记忆网络(ST-AttConvLSTM),用于交通流量的预测。ST-AttConvLSTM将整个模型分为三个分支进行建模,每个分支经过残差神经网络提取局部的空间特征,同时进一步结合天气等外部因素,再利用卷积长短时记忆网络(ConvLSTM)和注意力模型两种组件来挖掘流量的潜在规律,捕获时空维度上数据的关联性。使用北京市和纽约市两个真实的移动数据集来评估提出的方法,实验结果表明,该方法比知名的基准方法有更高的预测精度。

基于多级时空域3D卷积的换脸视频检测方法

近年来,视频换脸技术发展迅速。该技术可被用于伪造视频来影响政治行动和获得不当利益,从而给社会带来严重危害,目前已经引起了各国政府和舆论的广泛关注。本文通过分析现有的主流视频换脸生成技术和检测技术,指出当前主流的生成方法在时域和空域中均具有伪造痕迹和生成损失。而当前基于神经网络检测合成人脸视频的算法大部分方法只考虑了空域的单幅图像特征,并且在实际检测中有明显的过拟合问题。针对目前检测方法的不足,本文提出一种高效的基于时空域结合的检测算法。该方法同时对视频换脸生成结果在空域与时域中的伪造痕迹进行捕捉,其中,针对单帧的空域特征设计了全卷积网络模块,该模块采用3D卷积结构,能够精确地提取视频帧阵列中每帧的伪造痕迹;针对帧阵列的时域特征设计了卷积长短时记忆网络模块,该模块能够检测伪造视频帧之间的时序伪造痕迹;最后,根据特征分类设计特征网络金字塔网络结构,该结构能够融合不同尺寸的时空域特征,通过多尺度融合来提高分类效果,并减少过拟合现象。与现有方法相比,该方法在训练中的收敛效果和分类效果方面有明显优势。除此之外,我们在保证检测准确率的前提下采用较少的参数,相比现有结构而言训练效率更高。

基于注意力机制的时空卷积数控机床热误差模型研究

为了提高数控机床热误差模型的精度与泛化性,提出了基于注意力机制的长短时记忆卷积神经网络(Long short term memory convolutional neural network based on attention mechanism,AM-CNN-LSTM)热误差模型。利用卷积神经网络提取高维数据空间状态特征的能力和长短时记忆网络提取长时间序列状态特征的能力,构建具有2个支路的热误差模型,分别提取特征后输入到注意力机制中进行特征重要性重构,建立原始数据与热误差的特征映射,最后通过全连接层进行热误差预测。采用G460L型数控机床进行实验数据采集,将不同季节采集到的温度数据和热误差作为模型输入,采用循环学习率与正则化优化方法对模型进行训练。与LSTM、ConvLSTM和CNN-LSTM热误差模型对比,结果表明,AM-CNN-LSTM模型对特征还原能力最强,残差波动范围最小,其残差范围较最大值下降62.09%,模型预测精度在2.4μm以内。

基于多源信息融合和WOA-CNN-LSTM的外脚手架隐患分类预警研究

面对施工现场外脚手架隐患信息的多样性,传统的基于传感器监测的单一信号预警研究存在容错力不佳、含有信息有限等问题。针对施工现场外脚手架“图像+监测”数据,提出一种基于数据层和特征层信息融合的脚手架隐患分类预警方法。首先,利用Revit三维建模软件建立外脚手架实体模型,对不同初始隐患下的外脚手架进行有限元分析,划分隐患预警等级;其次,利用无迹卡尔曼滤波算法(Unscented Kalman Filter,UKF)及卷积长短时记忆网络(Convolutional Neural Network-Long Short Term Memory Network,CNN-LSTM)实现脚手架同类信息数据层融合及异类信息特征层融合;最后,通过实时收集西安市某在建项目落地式双排扣件式钢管脚手架隐患信息,对其进行分类预警,并使用鲸鱼优化算法(Whale Optimization Algorithm,WOA)对CNN-LSTM网络进行参数优化,发现隐藏节点个数为30、学习率为0.0072、正则化系数为1×10^(-4)时分类效果最佳,优化后预警精度达到了91.4526%。通过可视化WOA-CNN-LSTM、CNN-LSTM、CNN-SVM(Support Vector Machine,支持向量机)及CNN-GRU(Gate Recurrent Unit,门控循环单元)分类预警结果,证实了优化后的CNN-LSTM网络在脚手架分类预警方面的优越性。

基于3D-CNN和时空注意力-卷积LSTM的抑郁症识别研究

针对目前抑郁症识别方法中没有有效地从序列信息中刻画长时特征表示的问题,本文提出了一种基于三维卷积神经网络(3D-CNN)、时空注意力-卷积长短时记忆网络(STA-ConvLSTM)和空间金字塔池化(SPP)的端到端的抑郁症识别方法,计算在数据库AVEC2013和AVEC2014测试集上的抑郁症识别结果,并将本文结果与已发表文献结果进行对比分析.结果表明:在数据库AVEC2013和AVEC2014测试集上,平均绝对误差均为8.60,均方根误差分别为10.32和10.27,文献结果比较表明本文的抑郁症识别结果优于当前大多数基于面部视频的抑郁症识别方法.

基于ConvLSTM的风机轴承寿命预测

针对普通滚动轴承寿命预测模型在提取特征过程中存在特征提取不充分、预测误差大等问题,提出了基于双通道的卷积长短时记忆网络(ConvLSTM)风机轴承寿命预测模型。首先,将原始轴承振动信号进行小波阈值去噪,去除振动信号中的噪声干扰;其次,为充分提取特征采用双通道提取振动信号特征,其中一路为轴承振动信号信息,另一路为频域幅值信号;然后,采用ConvLSTM模型进行特征提取,该模型可同时兼顾空间局部特征和时间序列上的依赖关系,具有良好的特征提取能力;最后,将两路特征融合深入到全连接层,输出模型预测结果;此外,为提高模型预测准确率,还对损失函数作了相应改进。实验结果表明,所提模型轴承剩余寿命预测误差百分比均在20%以下,其误差百分比小于其他基于深度学习的模型。

基于混合双线性模型的抑郁症辅助诊断

抑郁症作为常见的慢性精神障碍疾病,其致病原因复杂且康复率较低。基于头皮脑电图提出一种使用混合双线性深度学习网络完成抑郁症辅助诊断的方法。首先,将卷积神经网络提取得到的空间特征和卷积长短时记忆网络提取得到的时空特征通过双线性方法融合成二阶混合特征,构建时空特征混合双线性模型;然后,使用脑电信号各频段的功能连接矩阵进行训练,并用不同的功能连接度量方法分析脑电信号各频段与抑郁症功能连接之间的关系;最后,在MODMA公开数据集上应用此方法。实验结果表明,使用二阶混合特征的混合双线性模型在Beta频段相关性功能连接矩阵上取得99.38%的准确率,说明了Beta频段相关性功能连接矩阵的二阶混合特征在抑郁症辅助诊断中的有效性,与其他方法相比,所提方法达到了较高的准确率,具有较好的应用前景。

基于ConvLSTM-LSTM的短期负荷预测方法

长短时记忆(LSTM)网络和结合卷积神经网络(CNN)的CNN-LSTM预测模型由于其网络模型本身的缺陷,限制了预测精度的提高。针对以上问题,提出了一种结合卷积长短时记忆(ConvL⁃STM)网络的ConvLSTM-LSTM负荷预测模型。利用ConvLSTM网络充分提取时序特征,将提取到的信息输入到LSTM网络中进行进一步的选择性记忆,并输出预测结果。将该模型与CNN-LSTM网络模型、LSTM网络模型、以及门控循环单元(GRU)网络模型进行了对比,结果显示所构建的Con⁃vLSTM-LSTM模型的预测效果均优于对比模型,在精度评价指标平均绝对百分比误差(MAPE)上,分别减小了1.10%、1.54%、1.91%。

基于卷积长短时记忆神经网络的城市轨道交通短时客流预测

我国城市轨道交通正处在快速发展阶段,城轨交通短时客流预测对保障运营安全、优化线网结构,进而构建智慧城市具有重要意义.城轨短时客流除了具有周期性、随机性等时间特征之外,跨时段的断面客流具有相似性,并且相邻站点客流之间存在空间联系.对此,充分考虑以上城轨短时客流的时空特征,基于卷积长短时记忆神经网络(ConvLSTM)与自适应k-means聚类算法,提出城轨短时客流预测的深度学习模型k-ConvLSTM,并通过实验对模型关键参数进行寻优;同时,基于深圳市地铁IC卡的真实客流数据对模型的有效性进行检验.结果表明,kConvLSTM在均方根误差、绝对误差均值、绝对误差百分比方面,均优于仅考虑时空特征的深度学习模型--卷积网络(CNN)与长短时记忆网络(LSTM)的并行混合模型和ConvLSTM内嵌式网络模型,仅考虑时间特征的深度学习模型--LSTM网络和双向长短时记忆网络(Bi-LSTM),以及浅层机器学习模型--BP神经网络和支持向量回归模型(SVR).

基于时间注意力机制和EfficientNet的视频暴力行为检测

针对一般的暴力行为检测方法模型参数量大、计算复杂度高、准确率较低等问题,提出一种基于时间注意力机制和EfficientNet的视频暴力行为检测方法。首先将通过对数据集进行预处理计算得到的前景图输入到网络模型中提取视频特征,同时利用轻量化EfficientNet提取前景图中的帧级空间暴力特征,并利用卷积长短时记忆网络(ConvLSTM)进一步提取视频序列的全局时空特征;接着,结合时间注意力机制,计算得到视频级特征表示;最后将视频级特征表示映射到分类空间,并利用Softmax分类器进行视频暴力行为分类并输出检测结果,实现视频的暴力行为检测。实验结果表明,该方法能够减少模型参数量,降低计算复杂度,在有限的资源下提高暴力行为检测准确率,提升模型的综合性能。

基于时空序列的Conv-LSTM航班延误预测模型

精准的航班延误预测结果可以为大面积航班延误的预防提供巨大的参考价值。航班延误预测是在特定空间下做时间序列预测,然而目前已有预测方法多为两种或多种算法的结合,存在算法间的融合问题。针对上述问题,提出了一种综合考虑时空序列的卷积长短时记忆(Conv-LSTM)网络航班延误预测模型。所提模型在长短时记忆(LSTM)网络提取时间特征的基础上,将网络的输入和权重矩阵进行卷积来提取空间特征,从而充分利用数据集包含的时间和空间信息。实验结果表明,与LSTM、仅考虑空间信息的卷积神经网络(CNN)模型相比,Conv-LSTM模型的准确率分别提高了0.65个百分点和2.36个百分点。由此可见,同时考虑时空特性可以在航班延误问题中获得更精确的预测结果。此外,基于所提模型设计并实现了基于浏览器/服务器(B/S)架构的航班延误分析系统,并且该系统也可以应用于空中交通管理局流量控制中心。

基于空间简化和CNN-LSTM的区域风电功率日前网格预测方法

新能源发电在全球范围内得到了越来越多的关注和发展,其中风能是最为常见和广泛应用的新能源形式。风电功率预测对于电力系统的稳定性、可靠性和经济性都具有重要的影响。文中为提高预测精度将风电场场站之间的空间依赖性纳入考虑,并解决网格预测建模困难和预测耗费大量时间和算力的问题,提出了一种基于集群简化的区域风电功率日前网格预测方法。首先,根据空间特性划分相似风电场,利用集群的汇聚效应,化简网络格数;其次,提取集群功率波动最为一致的气象特征,最大程度保留了所有风电场的空间特征;再次,处理输入输出数据形式,形成空间意义上的网格式数据,并通过卷积长短时记忆网络预测模型进行训练和预测;最后,将该方法应用于中国东北部某大规模风电集群验证其有效性。实验结果表明,文中所提出的方法相较于未经网格化简的方法RMSE和MAE分别下降了0.24%和0.05%,有效提高了风电集群日前功率预测精度。

基于LSTM-SAFCN模型的生物质锅炉NO_(x)排放浓度预测

针对生物质锅炉燃烧过程的动态特性,提出一种改进的长短期记忆-自注意力机制全卷积神经网络(LSTM-SAFCN)模型用于预测NO_(x)排放浓度。首先利用完全自适应噪声集合经验模态分解法(CEEMDAN)对数据进行预处理,消除数据噪声对NO_(x)排放浓度预测的影响;其次融合自注意力机制与长短时记忆-全卷积神经网络(LSTM-FCN)进行特征提取与预测建模,该拓展方法能够同时兼顾时间序列数据的局部细节与长期趋势特征;最后,利用生物质热电联产系统的实际运行数据验证了所提算法的有效性。

利用卷积块注意力机制识别人体动作的方法

针对动作识别任务中注意力模型在关注图像序列中的感兴趣区域时,更多侧重于通道间的相关性而忽视了特征的空间位置信息,因而缺乏对视频中动态区域的精准辨识能力,提出基于注意力机制和卷积长短时记忆网络的动作识别方法。首先,使用ResNet-50网络获取视频帧的特征表示,并利用卷积块注意力模块,先通过通道注意力分配特征图在不同卷积通道上的资源,再以空间注意力去分析不同特征图中显著元素的空间位置关系。从而实现对卷积特征图权值的优化调整,抑制或降低与动作无关区域带来的影响。同时,考虑到长短时记忆网络(LSTM)在处理时空数据时丢失了图像帧的空间结构信息,而卷积长短时记忆网络(ConvLSTM)借助卷积操作挖掘了图像中的空间相关性,对视频属性的完整性表示做了进一步的补充。因而,使用卷积长短时记忆网络对特征的序列信息进行建模并获得帧级别的预测,最终综合所有帧的预测共同确定视频的类别。在三个公开数据集上的实验结果表明,所提方法能够有效地突出视频中关键性区域,在一定程度上提升了动作识别的准确率。