基于卷积注意力长短时记忆网络的轴承寿命预测方法

传统的滚动轴承寿命预测方法缺乏明确的学习机制,无法有效识别不同时序特征之间的差异并突出重要特征,影响其预测精度.为克服上述缺点,本文提出了一种基于卷积注意力长短时记忆网络(CAN-LSTM)的剩余使用寿命预测模型.该模型主要由两部分组成:前端为卷积注意力网络(CAN),学习通道和时间维度中的深层故障特征,提高特征的表征能力;后端为改进LSTM网络,基于退化特征对轴承进行寿命预测.归一化健康指标至[0,1]区间内,得到相同的失效阈值;使用五点平滑法对预测结果进行处理,实现预测结果的输出;利用留一法对轴承全寿命试验数据进行验证,测试模型的准确性和适应性.试验结果表明:所提模型的平均均方根误差和平均绝对值误差比仅用CNN模型预测值低54.12%和59.05%,比仅用LSTM模型预测值低39.06%和43.42%,比卷积长短时记忆网络(CNN-LSTM)低20.41%和25.86%.

基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

基于改进注意力机制的时间卷积网络-长短期记忆网络短期电力负荷预测

为充分挖掘蕴含在电力负荷数据中的有效时序信息,提高短期电力负荷预测准确度,本文提出一种基于改进注意力机制的时间卷积网络(TCN)-长短期记忆(LSTM)网络负荷预测模型。首先,将时序数据输入TCN模型中进行时序特征提取;然后,将所提取的时序特征与非时序数据组合,并输入LSTM模型中进行训练;最后,采用贝叶斯优化方法进行超参数寻优以获得TCN-LSTM模型的最优参数,引入通过多层感知器(MLP)改进的注意力机制以减少历史信息丢失并加强重要信息的影响,完成短期负荷预测。通过对比多种深度学习模型的预测效果表明,本文所提模型的短期电力负荷预测准确度更高。

基于双重自注意力机制和长短时记忆网络的剩余寿命预测

剩余使用寿命(remaining useful life,RUL)预测是产品故障预测与健康管理的重要内容。传统长短期记忆(long short-term memory,LSTM)网络无法主动选择关键特征、难以高效提取大数据所蕴含的退化信息。提出一种基于改进LSTM网络的RUL预测方法,采用随机森林(random forest,RF)算法筛选输入特征,以主动选取关键特征;采用双重自注意力机制分别从特征维度和时间维度完成权重自适应分配,使模型在学习过程中关注主要特征和历史时间点;通过融合统计特征,以提高RUL预测精度。以航空发动机数据集为例完成案例分析,验证方法有效性。结果表明,所提方法能有效提高基于复杂数据集的RUL预测精度。

基于双向长短时记忆网络和自注意力机制的药物-药物相互作用预测

提出了一种基于双层双向长短时记忆网络(bi-directional long short term memory,BiLSTM)和自注意力(self-attention)机制的药物-药物相互作用(drug-drug interactions,DDIs)预测方法SA-BiLSTM。首先,利用FP3指纹、MACCS指纹、Pubchem指纹和PaDEL分子描述符对药物特征信息进行提取。其次,使用套索回归(least absolute shrinkage and selection operator,Lasso)方法消除对分类无关的特征,并利用重复编辑最近邻(repeated edited nearest neighbors,RENN)方法对数据进行平衡处理,得到最优特征向量。最后,将最优特征向量输入结合自注意力机制和双向长短时记忆网络的分类器预测DDIs。基于五折交叉验证,同时与其它预测方法进行比较,本工作所提出的方法在两个数据集上获得较高的预测准确率。为了综合评价SA-BiLSTM的性能,对药物-药物相互作用网络进行验证。实验结果表明,SA-BiLSTM表现出优秀的预测能力,可以为DDIs的预测提供一种新的思路。

基于注意力卷积长短时记忆模型的城市出租车流量预测

为解决城市交通拥堵和安全问题,提出一种注意力卷积长短时记忆(ConvLSTM)残差(ACLR)模型,该模型通过结合ConvLSTM、注意力机制和残差结构,分别处理出租车流量的时间、空间、和其他特征,挖掘区域兴趣点(POI)数据对出租车流量的影响,有效提升交通时空特征的提取能力。同时,引入专门的学习元件考虑外部因素和POI密度对交通流量的影响,并利用北京市出租车轨迹数据验证。结果表明:ACLR模型在城市交通流预测中的精度高于差分自回归滑动平均(ARIMA)模型、长短时记忆(LSTM)网络、深度时空残差网络(ST-ResNet)、卷积神经网络(CNN)-残差神经单元-LSTM(CRL)循环神经网络、ACFM等模型,在无POI密度和考虑POI密度的情况下,均有助于提升模型的预测性能,ACLA模型的预测值与真实值基本一致,高峰时段也能与真实值较好地吻合,有效提升交通时空特征的提取能力,降低预测误差,使得交通流量预测性能得到优化。

基于卷积长短时记忆网络的短时公交客流量预测

针对传统的短时客流预测方法没有考虑到时序特征中跨时段客流之间的相似性问题,提出一种改进k-means聚类算法与卷积神经网络和长短时记忆网络相结合的短时客流量预测模型k-CNN-LSTM。通过k-means算法对跨时段时序数据进行聚类,使用间隔统计确定k值,构建交通流矩阵模型,采用CNN-LSTM网络处理具有时空特征的短时客流。该模型能够对具有空间相关性的数据进行较为准确的预测。使用真实数据集对模型进行检验和参数调优,实验结果表明:k-CNN-LSTM模型较其他模型有相对较高的预测精度。

卷积与长短期记忆网络在火灾源强实时预测中的应用

针对火灾场景中火源位置及强度实时、准确识别困难的问题,利用卷积神经网络(Convolutional Neural Networks,CNN)与长短期记忆(Long Short-Term Memory,LSTM)网络的算法优势,构建一种火灾源强实时预测模型,该模型通过建筑内温度传感器接收的序列数据,实时、准确地预测火灾场景中的火源位置及强度信息。采用火灾动力学模拟软件(Fire Dynamics Simulator,FDS)模拟火灾场景,获得温度传感器实时接收的序列数据,建立火灾场景数据库,进行火灾场景数据分析并对火灾源强实时预测模型完成训练,通过实例验证该模型的准确性、及时性和鲁棒性。结果表明,该模型能够通过较短长度样本数据实时、准确预测火灾场景中火源位置及强度,预测准确率为99.18%,在温度传感器间隔损坏且损坏率不高于70%时,预测准确率仍可达到95.10%以上。

基于注意力机制的双向长短期记忆网络的在线工程实践评价框架

在虚拟学习环境下,工程实践课程通常以小组方式在线协同完成一个实践项目,但现有在线教学平台缺少基于学习行为数据的深度挖掘,教师难以像线下实践那样感知学习者的学习状态,从而无法进行十分客观公正的评价。为此,提出基于注意力机制的双向长短期记忆网络的在线工程实践评价框架,通过在线实践行为数据构建注意力机制的双向长短期记忆网络模型(GEP-BiLSTM)预测学生能否通过未来的实践考核。实践表明,所提方法可在学生出现学业预警前进行更有针对性的帮扶,从而提升工程实践的教学效果。

基于变分模态分解的卷积长短时记忆网络短期电力负荷预测方法

电力负荷序列易受多重外部因素影响而呈现复杂性,不利于精准预测。为此,提出一种基于变分模态分解(variational mode decomposition,VMD)的卷积神经网络和长短期记忆网络(convolutional neural network and long short-term memory network,CNN-LSTM)相结合的短期电力负荷并行预测方法。先采用VMD将负荷数据分解为规律性强的各本征模态函数(intrinsic mode function,IMF)及残差;再将各分量分别输入到各自对应的CNN-LSTM混合预测网络,获得各初始预测值,并将该值与由气候、日期类型等组合得到的相关因素特征集相结合,进一步得出修正预测值;最终,叠加各分量修正预测值即得到完整预测结果。在实际负荷数据上做验证分析,结果表明,考虑相关外部因素特征集后日负荷预测平均相对误差均值可降低2.18%。与几种常规负荷预测方法进行效果对比,验证了该方法的有效性和可行性。

基于卷积长短时记忆网络的国际平整度指标预测

公路的快速发展带来了对路面各项指标快速检测和分析的需求,针对路面国际平整度指标的特点,提出使用卷积神经网络与长短期记忆神经网络的结合(CNN-LSTM)对国际平整度指标进行预测,卷积神经网络和长短期记忆神经网络分别学习激光雷达距离数据的空间维度特征和时间维度特征,完成对平整度指标的预测。实验结果表明,相比较与LSTM网络,CNN-LSTM模型的MAPE值仅有2.3488,准确度和召回率分别达到90.61%和87.89%。通过真实值和预测值的对比可以发现CNN-LSTM更加适用于国际平整度指标的预测。

基于张量空谱卷积长短时记忆网络的遥感图像分类模型

基于遥感图像的地物要素分类与提取是实现数字化战场建设、智能化战场感知的关键支撑技术之一。实际应用平台运算资源有限、样本匮乏导致训练不充分等制约深度神经网络的遥感图像地物分类效果。基于张量链式分解和权重共享,设计空谱卷积长短时记忆单元的两种张量扩展结构,提出轻量级张量空谱卷积长短时记忆网络用于遥感图像分类。在两个公开高光谱遥感图像数据集进行实验,该算法仅需0.34MB存储空间,较同类方法实现更优分类性能。

基于残差神经网络、双向长短期记忆网络和注意力机制的肠鸣音检测方法研究

肠鸣音可以反映胃肠道的运动和健康状况,然而,传统的人工听诊方式存在主观性偏差且耗时耗力。为了更好地辅助医生对肠鸣音的诊断,提高肠鸣音检测的可靠性和高效性,该研究提出了一种结合残差神经网络(ResNet)、双向长短期记忆网络(BiLSTM)和注意力机制的深度神经网络模型。首先使用自主研发的多通道肠鸣音采集系统采集了大量带标签的临床数据,采用多尺度小波分解和重构方法对肠鸣音信号进行预处理,然后提取对数梅尔谱图特征送入网络进行训练,最后通过10折交叉验证和消融实验来评估模型的性能和验证其有效性。实验结果表明,该模型在精确率、召回率和F1分数方面分别达到了83%、76%和79%,能够有效地检测出肠鸣音片段并定位其起止时间,表现优于以往的算法。该算法不仅可以为医生在临床实践中提供辅助信息,还为肠鸣音的进一步分析和研究提供了技术支撑。

基于时频自注意力残差时序卷积网络的语音增强

语音增强的主要目的是去除语音信号中的噪声等无关信号,是许多语音处理任务的前端处理部分,在视频会议、视频直播等领域都有着重要的作用。然而目前大多数语音增强的研究主要集中在语音帧的长期上下文依赖关系建模上,没有考虑语音在时频域上的能量分布特征。本文提出一种基于时频域的自注意力模块,使得在模型建模过程中可以显式引入对语音分布特性的先验思考,并与残差时序卷积网络相结合,构成基于时频域自注意力的残差时序卷积网络模型。为了验证该模型的有效性,本文使用语音增强领域中常用的2个训练目标IRM和PSM进行实验,实验结果表明,该模型显著提高了语音增强领域中4种常用的客观评价指标,明显优于其他基准模型。

基于足底压力和卷积长短期记忆神经网络的前交叉韧带断裂智能辅助诊断

提出一种基于卷积长短期记忆神经网络的深度学习模型PressureConvLSTM,用来提取行走过程中足底压力的空间特征和时序特征,并进行步态分类。通过对前交叉韧带断裂患者的足底压力数据分析,实现智能辅助诊断。结合临床数据的实验结果表明,PressureConvLSTM模型对前交叉韧带断裂的辅助诊断,能够达到95%的预测准确度;与卷积神经网络等其他模型相比,准确度得到大幅度提升。

基于长短时记忆网络的山区中小流域降雨径流模拟

洪水预报是流域防洪减灾的重要非工程措施之一。目前我国中小河流暴雨洪水灾害频发,但应对短历时强降雨的洪水预报能力仍不强。以安徽省东部山区中小流域为研究对象,引入长短时记忆网络建立流域降雨径流模型,探讨其在山区中小流域的洪水模拟效果。结果表明,考虑降雨输入的空间差异可提升深度学习模型降雨径流模拟预测性能,且长短时记忆网络能够取得优于传统人工神经网络的精度;长短时记忆网络模型有效建立了流域降雨与径流间的复杂非线性关系,模型在所选流域内场次洪水的峰值模拟效果较好,训练、测试集场次洪水峰值合格率均在90%以上;长短时记忆网络内部结构特征与流域水文过程具有较好的相似性,对山区中小流域暴雨洪水非线性关系拟合效果突出。

双向长短期记忆网络的时间序列预测方法

时间序列预测即利用历史时间序列数据,预测未来一段时间内的数据信息,以便提前制定相应策略。目前,时间序列的类别复杂繁多,而现有的时间序列预测模型面对多种类型数据时无法取得稳定预测的结果,进而难以同时满足对现实中多种复杂的时序数据预测的应用需求。针对上述问题,提出了一种基于时间注意力机制双向长短期记忆网络的时间序列预测方法。笔者提出的网络模型采用改进的正向和反向传播机制提取时序信息并通过自适应权重分配策略推理未来的时序信息。具体来说,设计了一个改进的双向长短期记忆网络,通过结合双向长短期记忆和长短期记忆网络提取深度时间序列特征,挖掘上下文的时序依赖关系。在此基础上,融合所提出的时间注意力机制,实现对深度时间序列特征进行自适应加权,提升深度时序特征的显著性表达能力。通过与同类代表性方法在多个不同类别数据集上的客观定量对比,实验结果表明,该方法能够在多种类别的复杂时间序列数据上更优的预测性能。

基于联合注意力机制和一维卷积神经网络-双向长短期记忆网络模型的流量异常检测方法

针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSMOTE方法对流量数据不平衡训练样本预处理,使得各类流量数据均衡,有助于后续模型对各类数据的充分训练。然后设计联合注意力机制和1DCNN-BiLSTM的模型对流量数据进行训练,提取流量数据的局部和长距离序列特征并进行分类,通过注意力机制将对分类有用的特征按其重要性赋予权值,提高对少数攻击类的检出率。实验结果表明,同几种现有方法相比,该文方法对NSL-KDD和CICIDS2017数据集的检测准确率最高(可达93.17%和98.65%),对NSL-KDD数据集中的提权攻击(U2R)攻击流量的检出率至少提升13.70%,证明了该文方法提升少数类攻击流量检出率的有效性。

基于双重分解和双向长短时记忆网络的中长期负荷预测模型

针对中长期电力负荷序列噪声含量高、难以直接提取序列周期规律从而影响预测精度的问题,提出了一种基于完全自适应噪声集合经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)和奇异谱分析(singular spectrum analysis,SSA)双重分解的双向长短时记忆网络(bidirectional long and short time memory,BiLSTM)预测模型。首先,采用CEEMDAN对历史负荷进行分解,以得到若干个周期规律更为清晰的子序列;再利用多尺度熵(multiscale entropy,MSE)计算所有子序列的复杂程度,根据不同时间尺度上的样本熵值将相似的子序列重构聚合;然后,利用SSA去噪的功能,对高度复杂的新序列进行二次分解,去除序列中的噪声并提取更为主要的规律,从而进一步提高中长序列预测精度;再将得到的最终一组子序列输入BiLSTM进行预测;最后,考虑到天气、节假日等外部因素对电力负荷的影响,提出了一种误差修正技术。选取了巴拿马某地区的用电负荷进行实验,实验结果表明,经过双重分解可以将均方根误差降低87.4%;预测未来一年的负荷序列时,采用的BiLSTM模型将拟合系数最高提高2.5%;所提出的误差修正技术可将均方根误差降低9.7%。

基于卷积和长短期记忆网络的地浸开采铀浓度预测研究

文章通过集成经验模态分解(Empirical Mode Decomposition,EMD)、卷积神经网络(Convolutional Neural Networks,CNN)、长短期记忆网络(Long Short-Term Memory,LSTM)、傅里叶变换,提出了一种新型地浸单元浸出液铀浓度预测方法。该方法将浸出液铀浓度监测值时间序列使用EMD进行分解,分解为趋势项、周期项和随机项。通过构建CNN+LSTM网络,并结合傅里叶变换和多项式拟合对铀浓度趋势项、周期项和随机项进行预测,3者预测之和作为铀浓度预测结果。实证结果表明:EMD能够有效分解铀浓度时间序列,模型拟合度比未进行EMD分解的模型提升超50%;基于EMD、CNN+LSTM和傅里叶变换的集成方法预测精度良好,预测的平均绝对百分比误差(Mean Absolute Percentage Error,MAPE)为0.348,与LSTM、反向传播(Back Propagation,BP)和门控循环网络(Gate Recurrent Unit,GRU)等模型相比最高提升超80%。文章提出的集成方法能够准确预测浸采单元铀浓度变化,解决了原有方法和模型无法对非线性、非平稳铀浓度序列进行准确预测的问题,从而为地浸矿山生产规划提供技术支持,并有助于提升中国铀矿山的数字化、信息化程度。