卷积-长短期记忆神经网络超宽带定位方法

针对室内视距环境下超宽带(UWB)观测值中的测距误差影响定位精度的问题,提出一种基于卷积神经网络与长短期记忆网络(CNN-LSTM)相结合的UWB测距误差改正模型:将基站与标签之间的测距值和Chan算法解算的标签初始坐标作为卷积神经网络(CNN)的输入,借助CNN良好的数据特征提取能力,充分挖掘UWB测距值的特征;然后利用长短期记忆网络(LSTM)进行进一步的特征学习,并进行训练和预测UWB测距值,以减少测距误差对UWB测距值精度的影响;最后,利用高斯-牛顿迭代算法求解出最终的UWB定位结果,同时,建立多项式和指数函数UWB测距误差改正模型,并与本文方法进行对比分析。实验结果表明,在静态和动态实验下,基于CNN-LSTM网络模型结果的精度均优于其他2种模型,证明该算法可有效降低测距误差,提高UWB的定位精度。

基于联合注意力机制和一维卷积神经网络-双向长短期记忆网络模型的流量异常检测方法

针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSMOTE方法对流量数据不平衡训练样本预处理,使得各类流量数据均衡,有助于后续模型对各类数据的充分训练。然后设计联合注意力机制和1DCNN-BiLSTM的模型对流量数据进行训练,提取流量数据的局部和长距离序列特征并进行分类,通过注意力机制将对分类有用的特征按其重要性赋予权值,提高对少数攻击类的检出率。实验结果表明,同几种现有方法相比,该文方法对NSL-KDD和CICIDS2017数据集的检测准确率最高(可达93.17%和98.65%),对NSL-KDD数据集中的提权攻击(U2R)攻击流量的检出率至少提升13.70%,证明了该文方法提升少数类攻击流量检出率的有效性。

基于CNN-LSTM混合神经网络的高速铁路地震响应预测

为了更好地挖掘高速铁路在地震时的响应信息,提高光纤光栅监测的效率及预测精度,该文针对地震响应数据的时序性及非线性的特点,提出卷积神经网络(CNN)和长短期记忆(LSTM)网络的混合神经网络模型预测方法.通过在高速铁路简支梁桥上布设准分布式光纤光栅采集地震时轨道板、钢轨、底座板、箱梁的响应数据,在每根光纤上布置7个光栅,利用两边光栅的响应数据预测中间点的光栅响应,将采集位置、历史数据及地震波形等信息作为特征图输入.利用CNN提取特征,再将提前提取出来的特征数据以时序方式作为LSTM网络的输入数据,最后LSTM网络进行地震应变响应预测.实验结果表明,LSTM网络在3层时效果最好,CNN-LSTM方法具有较高的预测精度,根均平方误差(R_(RMSE))、平均绝对误差(R_(MAE))、决定系数(R^(2))分别达到了0.3753、0.2968、0.9371.

基于卷积神经网络与长短期记忆神经网络的弹丸轨迹预测

针对弹丸非线性轨迹预测问题,提出一种基于卷积神经网络(CNN)与长短期记忆(LSTM)神经网络的混合轨迹预测模型。通过建立6自由度弹丸运动模型,并使用4阶龙格库塔法外弹道仿真,得到大量轨迹数据样本;提出CNN-LSTM神经网络的混合轨迹预测模型,并利用滑动窗口法和差分法构造输入输出的轨迹数据对,将预测问题转化为有监督的学习问题;将所提模型与LSTM神经网络模型、门控循环单元(GRU)神经网络模型和反向传播(BP)神经网络模型在同一数据集下进行仿真实验。研究结果表明,CNN-LSTM神经网络模型预测3 s后的平均累积预测误差在x轴方向约为14.83 m,y轴方向约为20.77 m,z轴方向约为0.75 m,且轨迹预测精度优于单一模型,为弹丸轨迹预测研究提供了一定的参考。

基于CNN-LSTM的复合神经网络在油田污水系统故障诊断中的应用

为提高油田污水系统故障诊断的智能化水平和准确性,利用卷积神经网络以及长短期记忆网络构建复合神经网络,并采用Adam与随机梯度下降法对结构进行优化,使模型收敛速度以及故障诊断精度得到提升。通过相关实验研究结果表明,采用的优化算法使模型准确度提升至0.87左右,模型诊断损失率降至0.032左右;复合神经网络结构的平均检测精度达到0.888,准确值达到0.883,召回率达到0.789。将复合神经网络应用于油田污水系统故障诊断中,使油田污水系统实现智能故障检测,并能降低经济成本,益于智慧油田建设。

基于CNN-LSTM混合神经网络模型的短期负荷预测方法

为了更好地挖掘海量数据中蕴含的有效信息,提高短期负荷预测精度,针对负荷数据时序性和非线性的特点,提出了一种基于卷积神经网络(CNN)和长短期记忆(LSTM)网络的混合模型短期负荷预测方法,将海量的历史负荷数据、气象数据、日期信息以及峰谷电价数据按时间滑动窗口构造连续特征图作为输入,先采用CNN提取特征向量,将特征向量以时序序列方式构造并作为LSTM网络输入数据,再采用LSTM网络进行短期负荷预测。使用所提方法对江苏省某地区电力负荷数据进行预测实验,实验结果表明,文中所提出的预测方法比传统负荷预测方法、随机森林模型负荷预测模型方法和标准LSTM网络负荷预测方法具有更高的预测精度。

改进型CNN-LSTM深度学习神经网络的台区户变拓扑关系识别

针对电力台区内各种数据信息繁多复杂、数据处理能力滞后及用户利用率低下等问题,提出一种新型的台区户变拓扑关系识别方法。通过构建卷积神经网络(convolutional neural network,CNN)和长短期记忆(long short-term memory,LSTM)神经网络模型,将台区内配电变压器的有功功率、无功功率、电压值、电流值和用户侧的多种用电数据信息转换为CNN-LSTM深度学习神经网络模型;并在CNN模型中融入LSTM模块,以将台区户变拓扑宏观数据关系转换为微观数据信息识别,大大提高台区户变拓扑关系识别和应用能力。通过设置CNN-LSTM深度学习神经网络不同的层次,计算台区户变拓扑关系。通过算例分析,大大提高了用户识别能力,为台区户变拓扑关系识别提供了技术思路。

基于CNN和BiLSTM神经网络模型的太阳能供暖负荷预测研究

针对太阳能供暖系统中因热量供需不匹配而引起的能源浪费现象,提出一种基于卷积神经网络-双向长短期记忆神经网络的短期热负荷预测模型。首先对数据进行清洗,使数据准确完整;其次依据皮尔逊相关系数对输入特征进行筛选;最后依据其空间-时间特征建立卷积神经网络-双向长短期记忆神经网络模型。在与单一神经网络模型长短期记忆神经网络及双向长短期记忆神经网络进行详细比较和分析后,结果表明,该模型相较于传统神经网络模型在精确度上存在明显提升,验证了本模型在太阳能供暖负荷预测中的有效性。

耦合人工神经网络模型在径流预测中的应用综述

人工神经网络(artificial neural network,ANN)模型耦合其他模型或优化算法在径流预测中的应用逐渐增多。从人工神经网络模型与物理模型的耦合、多人工神经网络模型的耦合、分解技术与机器学习方法的耦合、人工神经网络模型与智能优化算法的耦合4个方面进行系统梳理和总结,阐述提高预测精度的原因及各方法的优势。同时,提出当前研究中存在的问题并进行展望,可为径流预测和水资源管理提供支持。

基于CNN-LSTM融合神经网络的CRTSⅡ型轨道板温度预测方法

准确预测CRTSⅡ型轨道板温度可对轨道板内高温的出现及时进行预警,减小高温时期涨板对列车运营带来的威胁。同时考虑外界环境温度对轨道板温度影响的时滞效应与轨道板自身在时间上的温度变化规律,提出基于卷积神经网络(CNN)与长短期记忆网络(LSTM)融合模型的板温预测方法。先通过CNN在时间轴上对气温与轨温进行卷积提取出过去一段时间内外界气象条件对当前时刻板温的影响,再将CNN在各个时间点上的输出作为LSTM的输入特征利用轨道板自身的传热规律对板温进行预测。结果表明:过去12 h内的外界气象条件对当前时刻的板温有较大影响,利用训练好的CNN-LSTM在测试集上对未来40 min的板温进行预测,其预测误差绝对值的数学期望为0.925℃。

基于语言模型及循环卷积神经网络的事件检测

目前,事件检测的难点在于一词多义和多事件句的检测.为了解决这些问题,提出了一个新的基于语言模型的带注意力机制的循环卷积神经网络模型(recurrent and convolutional neural network with attention based on language models,LM-ARCNN).该模型利用语言模型计算输入句子的词向量,将句子的词向量输入长短期记忆网络获取句子级别的特征,并使用注意力机制捕获句子级别特征中与触发词相关性高的特征,最后将这两部分的特征输入到包含多个最大值池化层的卷积神经网络,提取更多上下文有效组块.在ACE2005英文语料库上进行实验,结果表明,该模型的 F 1 值为74.4%,比现有最优的文本嵌入增强模型(DEEB)高0.4%.

基于LSTM人工神经网络的电力系统负荷预测方法

针对电力市场环境下短期电力系统负荷预测准确性较低的问题,提出了一种基于LSTM人工神经网络的组合预测模型。分析了LSTM神经网络和其变体GRU神经网络在进行负荷预测时学习时序特征的独特优势,并以卷积神经网络作为负荷数据的特征提取层,结合GRU网络构建了组合模型,通过建立残差预测模型对结果进行修正。仿真结果表明,具有记忆功能的神经网络预测效果要优于ANN和SVM模型,且所提出残差预测模型的负荷预测平均相对误差约为1.79%,其准确性高于单一算法的负荷预测模型。

基于CNN-LSTM架构神经网络的桥梁损伤位置识别

针对桥梁健康安全监测中的损伤位置识别准确率不佳的问题,文章提出一种基于CNN-LSTM架构神经网络模型(CL-EANNM)的桥梁损伤位置识别方法。通过MATLAB软件对不同损伤工况条件下的简支梁结构振动响应进行数值模拟,利用CL-EANNM挖掘测点加速度信号数据集中有效的损伤位置特征,并测试该方法识别损伤位置准确率。结果表明:CL-EANNM识别简支梁结构损伤位置体现出良好的效果。该方法的现阶段成果为桥梁健康监测中损伤位置识别准确率优化问题提供了新的研究思路。

基于OI-LSTM神经网络结构的人类动作识别模型研究

随着手机传感器的普遍使用,对人体日常行为动作识别需求越来越多,经典识别方法是利用启发式过程获得人工特征,再用机器学习方法识别动作。最新研究表明,Inception卷积结构在特征自动提取方面表现尤为突出,可避免人工提取特征带来的偏差问题。人体动作由复杂运动序列构成,捕捉该时间序列是动作识别必不可少的。基于此,首先对Inception结构进行了优化,提出了O-Inception结构,并将其与长短期记忆模型(long short term memory,LSTM)进行了融合,进而提出了OI-LSTM(optimization Inception-LSTM)动作识别模型。OI-LSTM模型一方面可以利用O-Inception结构实现对特征的自动提取,另一方面,还可以利用LSTM捕获动作时序,进而提高了动作识别准确率。在WISDM(wireless sensor data mining)和UCI(UC Irvine)两个数据集上进行了扩展性实验,实验结果表明,所提出的OI-LSTM动作识别模型,在WISDM和UCI两个数据集上其准确率比当前最先进的方法分别提高了约4%和1%。实验还证明,此模型拥有很强的容错性和实时性。

基于相关性分析与CNN-BiLSTM神经网络的PSZ陶瓷磨削表面粗糙度智能预测

部分稳定氧化锆(Partially stabilized zirconia,PSZ)陶瓷因其优越的性能在航空航天工业等领域有广泛的应用。表面粗糙度是评价PSZ陶瓷磨削加工水平的关键指标,为了降低磨削表面粗糙度的预测误差,提出了一种基于相关性分析与卷积-双向长短期记忆神经网络(Convolution-bidirectional long short term memory neural network,CNN-BiLSTM)的PSZ陶瓷磨削表面粗糙度声发射预测模型。通过分析磨削声发射信号特征值与磨削表面粗糙度值之间相关性,筛选出磨削声发射信号与磨削表面粗糙度之间的最相关频段和特征矩阵,作为CNN-BiLSTM神经网络的输入参数以降低磨削表面粗糙度声发射预测的误差。研究结果表明,基于相关性分析与CNN-BiLSTM神经网络的PSZ陶瓷磨削表面粗糙度的平均预测误差低于3.92%。

基于神经网络和自回归模型的网络流量预测

互联网的急速发展在给人类带来了巨大便利的同时,也使网络中的网络流量出现了爆炸性的增长,预测网络流量对于网络的研究、管理和控制都具有很高的现实指导意义。为了降低减少网络流量数据的预测误差,提出一种基于神经网络和自回归模型的网络流量预测模型——卷积神经网络(CNN)−长短期记忆(LSTM)网络+自回归(AR)。通过卷积神经网络和长短期记忆网络结合来同时获取数据的短期局部依赖特征和长期发展趋势,添加历史连接组件将网络流量的周期性考虑在预测中,完成对网络流量中非线性项的处理,利用自回归模型预测线性项,将两部分结果结合得到最终预测值。实验结果表明,对比传统的网络流量预测模型,在最好情况下所提出模型的均方误差(MSE)、均方根误差(RMSE)和平均绝对误差(MAE)分别减小了1.5604、0.1468和0.1405,这说明该模型有更好的预测表现,预测值与实际值的差距更小。

基于深度级联神经网络的自动驾驶运动规划模型

针对基于规则的运动规划算法需要预先定义规则和基于深度学习的方法没有利用时间特征的问题,提出一种基于深度级联神经网络的运动规划模型。该模型将卷积神经网络(CNN)和长短期记忆网络(LSTM)这两种经典的深度学习模型进行融合并构成一种新的级联神经网络,分别提取输入图像的空间和时间特征,并用以拟合输入序列图像与输出运动参数之间的非线性关系,从而完成从输入序列图像到运动参数的端到端的规划。实验利用模拟驾驶环境的数据进行训练和测试,结果显示所提模型在乡村路、高速路、隧道和山路四种道路中均方根误差(RMSE)不超过0.017,且预测结果的稳定度优于未使用级联网络的算法一个数量级。结果表明,所提模型能有效地学习人类的驾驶行为,并且能够克服累积误差的影响,适应多种不同场景下的路况,具有较好的鲁棒性。

基于CNN-LSTM网络模型的风电功率短期预测研究

风电功率预测对电力系统的稳定运行与经济调度至关重要。为充分挖掘历史数据中的有效信息以提高风电功率短期预测精度,提出一种基于卷积神经网络(convolution neural network,CNN)和长短期记忆(long short-term memory network,LSTM)网络模型的风电功率短期预测方法,利用CNN序列特征提取能力进行有效信息的提取,保留更长的有效记忆信息以解决梯度弥散问题,弥补了LSTM网络模型面对过长序列时出现不稳定与梯度消失现象的不足。用国内某风电场数据进行实验,预测结果表明文中提出的方法与反向传播神经网络和LSTM网络预测方法相比,具有更高的预测精度。

卡尔曼滤波器与神经网络串行的轮胎载荷识别模型

轮胎载荷是车辆设计和安全性评估的基础数据,对轮胎进行高精度的载荷识别具有重要意义。针对轮胎载荷直接测量昂贵、复杂的现状以及基于纯物理驱动与纯数据驱动的载荷识别方法的局限性,提出一种物理-数据联合驱动的载荷识别模型。该模型由卡尔曼滤波器与神经网络修正模型串行组成,卡尔曼滤波器对载荷进行初步识别,修正模型通过卷积神经网络和长短期记忆网络提取信号的空间和时间特征,预测卡尔曼滤波器的偏差并对识别结果予以修正。以APM300胶轮车辆为例进行载荷识别,结果表明,该串行模式载荷识别模型通过将物理驱动与数据驱动方法有机结合,综合整个系统的规则与经验,有效地克制了参数扰动的影响,提升了载荷识别精度,具有较强的泛化性能,具备一定的工程应用价值。

使用长短期记忆网络预测NBA比赛胜负

深度学习与机器学习的方法已广泛应用于NBA(美国篮球职篮联赛)的比赛胜负的预测中,然而过去的方法未对过去几场比赛的数据进行建模,忽略了比赛双方近期状态的有效表示。为了解决这个问题,提出了基于长短期记忆(LSTM)网络的方法对NBA常规赛的比赛胜负进行预测。该方法分别以比赛中的两支球队过去几场比赛的数据作为LSTM的输入,以该场比赛结果作为输出,训练能够预测比赛胜负的模型。本质上是使用球队在该赛季的历史数据的平均值作为该球队的实力,以近几场比赛的数据序列作为该球队状态的体现。在实验中比较了其他几种预测NBA比赛胜负的方法(支持向量机、卷积神经网络、逻辑回归模型等方法),数据来自2014-2019年间的5个赛季的NBA常规赛数据。结果表明,模型的预测准确率达到(69.09%),高于其他几种模型。