基于足底压力和卷积长短期记忆神经网络的前交叉韧带断裂智能辅助诊断

提出一种基于卷积长短期记忆神经网络的深度学习模型PressureConvLSTM,用来提取行走过程中足底压力的空间特征和时序特征,并进行步态分类。通过对前交叉韧带断裂患者的足底压力数据分析,实现智能辅助诊断。结合临床数据的实验结果表明,PressureConvLSTM模型对前交叉韧带断裂的辅助诊断,能够达到95%的预测准确度;与卷积神经网络等其他模型相比,准确度得到大幅度提升。

基于卷积长短期记忆的残差注意力去雨网络

无人驾驶汽车在雨天环境中行驶,由于车载相机采集的图片包含雨纹噪声,导致无人驾驶系统的目标检测精度降低,关键目标识别困难。为解决这些问题,提出了一种基于卷积长短期记忆的残差注意力去雨网络。首先提出卷积长短期记忆(CLSTM)单元对不同尺度的雨纹分布进行学习,然后使用残差通道注意力机制对雨纹进行提取,最后将雨图与雨纹提取信息相减得到修复后的背景图。为确定最优的网络结构,对各网络模块进行消融实验,然后选择去雨效果最优的结构作为去雨网络。通过对网络参数的不断优化,所提算法在数据集Rain100H、Rain100L、Real200上进行测试,结果显示该算法的峰值信噪比(PSNR)分别达到29.1 dB、33.1 dB、32.4 dB,结构相似性(SSIM)分别达到0.89、0.94和0.93。实验结果表明,通过生成对抗网络(GAN)判别器对雨纹去除效果的额外监督,所提算法取得了明显的雨纹去除效果,增强了无人驾驶系统在复杂降雨条件下的环境感知能力。

基于卷积长短期记忆网络的说话人辨识

利用卷积长短期记忆网络适合时间序列数据的分类和预测处理特点,文章将含有噪音的语谱图映射到卷积长短期记忆网络的高维空间中聚类,去除噪音,构建GMM-SVM说话人模型,完成说话人辨识。实验表明提出的LSTM-GMM-SVM说话人系统具有很好的鲁棒性和识别率。

卷积-长短期记忆神经网络超宽带定位方法

针对室内视距环境下超宽带(UWB)观测值中的测距误差影响定位精度的问题,提出一种基于卷积神经网络与长短期记忆网络(CNN-LSTM)相结合的UWB测距误差改正模型:将基站与标签之间的测距值和Chan算法解算的标签初始坐标作为卷积神经网络(CNN)的输入,借助CNN良好的数据特征提取能力,充分挖掘UWB测距值的特征;然后利用长短期记忆网络(LSTM)进行进一步的特征学习,并进行训练和预测UWB测距值,以减少测距误差对UWB测距值精度的影响;最后,利用高斯-牛顿迭代算法求解出最终的UWB定位结果,同时,建立多项式和指数函数UWB测距误差改正模型,并与本文方法进行对比分析。实验结果表明,在静态和动态实验下,基于CNN-LSTM网络模型结果的精度均优于其他2种模型,证明该算法可有效降低测距误差,提高UWB的定位精度。

基于分组双阶段双向卷积长短期方法的高光谱图像超分辨率网络

文章提出基于分组的双阶段Bi-ConvLSTM网络(GDBN),可以充分利用图像的空间和光谱信息,通过使用以波段为单位的分组策略,有效缓解了计算负担,并对光谱信息进行保护。在编码器的不同阶段,对浅层信息提取模块和深度特征提取模块进行不同层次信息的提取,浅层信息提取模块能够对不同尺度的浅层特征信息进行充分捕捉,深度特征提取模块能够捕捉图像的高频特征信息。文章还引入通道注意力机制,增强网络对特征的组织能力,并在自然数据集cave上进行大量实验,效果普遍优于目前主流的深度学习方法。

基于联合注意力机制和一维卷积神经网络-双向长短期记忆网络模型的流量异常检测方法

针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSMOTE方法对流量数据不平衡训练样本预处理,使得各类流量数据均衡,有助于后续模型对各类数据的充分训练。然后设计联合注意力机制和1DCNN-BiLSTM的模型对流量数据进行训练,提取流量数据的局部和长距离序列特征并进行分类,通过注意力机制将对分类有用的特征按其重要性赋予权值,提高对少数攻击类的检出率。实验结果表明,同几种现有方法相比,该文方法对NSL-KDD和CICIDS2017数据集的检测准确率最高(可达93.17%和98.65%),对NSL-KDD数据集中的提权攻击(U2R)攻击流量的检出率至少提升13.70%,证明了该文方法提升少数类攻击流量检出率的有效性。

基于卷积神经网络与长短期记忆神经网络的弹丸轨迹预测

针对弹丸非线性轨迹预测问题,提出一种基于卷积神经网络(CNN)与长短期记忆(LSTM)神经网络的混合轨迹预测模型。通过建立6自由度弹丸运动模型,并使用4阶龙格库塔法外弹道仿真,得到大量轨迹数据样本;提出CNN-LSTM神经网络的混合轨迹预测模型,并利用滑动窗口法和差分法构造输入输出的轨迹数据对,将预测问题转化为有监督的学习问题;将所提模型与LSTM神经网络模型、门控循环单元(GRU)神经网络模型和反向传播(BP)神经网络模型在同一数据集下进行仿真实验。研究结果表明,CNN-LSTM神经网络模型预测3 s后的平均累积预测误差在x轴方向约为14.83 m,y轴方向约为20.77 m,z轴方向约为0.75 m,且轨迹预测精度优于单一模型,为弹丸轨迹预测研究提供了一定的参考。

结合卷积和长短期记忆网络的长文分类方法

现如今互联网成为了传播信息的主要平台,人们使用关键词在海量的文档中快速获取想要的信息.这要求论文文献有明确的分类和标签.传统的文献分类方法通常提取关键词或关键句,利用文本的局部信息进行分析,对于方向相似的科技论文,传统的局部分析的方法区分度不高,分类不够明确易产生混淆.本文提出了一种对文献进行全局分析,自动生成标签的长文分类方法.为了降低卷积神经网络(Convolutional Neural Network,CNN)的深度,同时通过遍历全文捕获全局信息,本文提出了随机抽样算法将文献拆分为多个部分.然后,结合卷积神经网络和长短期记忆网络(Long Short-Term Memory,LSTM),提取各部分的局部特征,记忆各部分特征的相关性,得出分类结果.实验结果表明,与基于局部分析的文本分类方法相比,本文提出的长文分类方法能够更准确地区分方向相似的长文文献.

基于卷积长短期记忆网络的换脸视频检测

随着近年假脸合成技术(DeepFake)的发展,当前社交平台充斥着通过换脸技术生成的海量假视频,虽然假视频可以丰富大众的娱乐生活,但是同样存在着曝光隐私等负面问题。如何精准检测出由DeepFake生成的伪造数据已成为网络安全防御领域中一项重要且具有挑战性的任务。针对这一问题,很多科研工作者提出了针对换脸视频的检测方法,但是现有的检测方法均忽略了DeepFake视频帧与帧之间的关联特性。因此,对于部分针对脸部信息进行平滑处理的篡改方法,已有的检测方法的检测准确率有明显的下降。基于此,提出了一种基于长短期记忆(LSTM)网络的DeepFake视频检测算法。该算法能够捕获DeepFake视频帧中的脸部微表情变化,并利用编码器生成局部视觉信息的特征,同时利用注意力机制实现局部信息的权重分配;最后再次借助LSTM网络实现时序空间下视频帧的关联信息融合,从而实现对DeepFake视频数据的有效检测。采用FaceForensics++数据库对所提算法进行了评估,与现有方法相比,实验结果证明了所提算法的优越性。

基于卷积长短期记忆网络和人工鲸鱼算法的核反应堆运行事件诊断方法研究

当核电厂发生异常后应及时诊断原因,以避免对运行人员和周围环境造成严重后果。本文利用卷积神经网络(CNN)和长短期记忆(LSTM)网络可更好地提取数据的局部特征和记忆时间序列信息的特征,研究基于卷积长短期记忆(CLSTM)网络和人工鲸鱼算法的核反应堆运行事件诊断技术。通过核电厂反应堆模拟机仿真实验对本文所述方法进行测试,最终测试准确率为99.91%,证明了本文所述研究方法的有效性。相关研究成果可作为核电厂运行事件的一种诊断方法,有利于提高运行事件诊断的智能化和信息化水平,为核电厂的少人值守甚至无人值守提供技术基础,提高公众对核电厂的认识与信赖。

CEEMDAN-WPE-CLSA超短期风电功率预测方法研究

提出了一种结合自适应噪声完全集合经验模态分解、加权排列熵、卷积神经网络、长短期记忆网络和自注意力机制的超短期风电功率预测方法。首先,利用自适应噪声完全集合经验模态分解将原始风电功率时间序列自适应分解为一系列的模态分量,降低原始序列的非线性和波动性;其次,根据加权排列熵计算各模态分量间的相似性并对相似的分量进行重组,以修正自适应噪声完全集合经验模态分解的过度分解问题,使得修正后的模态分量更具规律性;最后,将重组后的分量输入卷积长短期记忆网络进行时序建模,并利用自注意力机制对卷积长短期记忆网络的神经元权重进行重新分配,提高了卷积长短期记忆网络对输入特征不确定性的适应能力。在此基础上,明确了自注意力机制和自适应噪声完全集合经验模态分解、加权排列熵在风电功率预测中的作用机制,以及风电功率信号包含的重要物理信息,证明了自适应噪声完全集合经验模态分解、加权排列熵以及自注意力机制在风电功率信号模态分解和长短期记忆网络隐层输出权重分配中的有效性。

多层次特征融合与超图卷积的生成对抗壁画修复

针对现有壁画深度学习修复方法,存在上下文信息关注不足及结果欠佳的问题,提出了一种多层次特征融合与超图卷积的生成对抗修复模型。首先,利用金字塔特征分层对壁画进行多尺度层次特征提取,并采用混合空洞卷积单元扩大多层特征提取感受野,以克服单尺度卷积操作对于壁画特征提取能力不足的问题。然后,提出多分支短链融合层及门控机制融合多分支特征方法,将相邻分支间的特征信息进行融合,使融合后的壁画特征图中既有同分支的特征,又有相邻分支的特征,以提高特征信息的利用率;并引入门控机制对特征进行选择融合,以减少细节信息的丢失。接着,将融合特征通过卷积长短期记忆网络(ConvLSTM)特征注意力方法,增强对壁画上下文信息的关注。最后,设计超图卷积壁画长程特征增强模块,通过在编码器和解码器的跳跃连接之间建立超图卷积层,利用超图卷积捕获编码器的空间特征信息,并将其迁移到解码器中,有助于解码器更好地生成壁画图像,以加强特征的长程依赖关系,并与SN-PatchGAN判别器对抗博弈从而完成修复。通过敦煌壁画数字化修复实验,结果表明:所提方法客观评价优于对比算法,对于破损壁画修复结果更加清晰自然。

融合Transformer和卷积LSTM的轨迹分类网络

为了减少原始轨迹数据的噪声,充分提取轨迹的时空特征,提高基于轨迹数据的交通模式分类精度,提出一种融合堆叠降噪自编码器、Transformer和卷积长短期记忆网络的轨迹分类网络(networks fusing stacked denoising auto-encoder, Transformer and ConvLSTM,SDAETC)。通过堆叠降噪自编码器减少原始轨迹数据中的噪声;利用结合了Transformer的递归图自编码器,提取到更为丰富的时间特征,同时利用特征图自编码器提取空间特征;改进卷积长短期记忆网络,充分提取轨迹中的时空特征,并与提取到的时间特征和空间特征相融合,从而实现交通模式分类。实验结果表明,提出的SDAETC与基线模型相比,在GeoLife和SHL数据集上的准确率分别提升了1.8%和2%。此外,消融实验结果和模型训练时间分析表明,引入堆叠降噪自编码器、Transfomer和ConvLSTM虽然增加了时间消耗,但是对分类精度有积极贡献。

基于CNN_BiLSTM的长短期电力负荷预测方法

当前电力系统负荷预测中负荷数据受到多种因素影响且多步长预测时精度不高,因此电力负荷预测呈现出非线性、多因素、非平稳态等问题。提出一种基于CNN_BiLSTM混合深度学习网络的长短期电力负荷在线预测方法。首先根据卷积神经网络和双向长短期记忆网络的特点,建立了CNN_BiLSTM负荷预测模型,并将历史负荷与影响因素耦合形成一个新的时间序列作为网络输入;其次,由于机器学习模型依赖于样本的完备性,影响因素的存在会使原有模型与现有数据失配,建立了在线模型;最后,在实际电力负荷预测中,单步长预测并不能满足工业现场的需要,建立了在线多步长预测模型。通过算例分析,并与SVR等方法进行对比,实验结果表明,所提方法能有效地应用于实际的电力系统负荷预测。

基于3D多尺度卷积的非接触心率估计模型

为了在真实环境下实现更准确的非接触式心率(HR)估计,提出一种远程光电容积描记术(rPPG)和HR信号恢复任务的端到端时空卷积神经网络(CNN)模型。模型使用3D多尺度卷积注意力获取多尺度特征并融合上下文信息。其次引入自注意力卷积长短期记忆(SA-ConvLSTM)提取具有全局依赖和局部依赖的时间空间特征。最后,根据rPPG和HR信号的强关联性,使用多任务学习方法来提高模型性能。在公开的UBFC-rPPG和COHFACE数据集上进行实验测试,结果表明:提出的网络模型在非接触式HR提取中具有更好鲁棒性。

基于ConvLSTM-CNN预测太平洋长鳍金枪鱼时空分布趋势

海洋渔场的变动由空间与环境因子共同驱动,渔场时空演变信息的精准预测是海洋捕捞的关键。本研究利用1995-2018年太平洋海域长鳍金枪鱼(Thunnus alalunga)的渔业生产统计数据,结合同期海洋环境数据包括海表面温度(Sea Surface Temperature,SST)、海表面盐度(Sea Surface Salinity,SSS)、初级生产力(Primary Productivity,PP)和溶解氧浓度(Dissolved Oxygen Concentration,DO),提出了一种融合卷积长短期记忆网络(Convolutional Long Short-Term Memory Networks,ConvLSTM)和卷积神经网络(Convolutional Neural Networks,CNN)的渔场时空分布预测模型。该模型引入特征提取模块,对时空因子进行编码,提取时空特征信息,同时采用CNN提取海洋环境变量的抽象特征,采用ConvLSTM提取渔业数据的高层时空关联信息,最后融合多种特征对渔场时空演变趋势进行预测。结果表明,模型的均方根误差为0.1036,较随机森林、BP神经网络和长短期记忆网络(Long Short Term Memory,LSTM)等传统渔场预报模型的预测误差降低15%~40%,预测的高产渔区与实际作业的高渔获量区匹配度为89%。该研究构建的渔场时空预测模型能够准确地预测出太平洋长鳍金枪鱼的时空分布,为太平洋长鳍金枪鱼的延绳钓渔业提供科学参考依据。

注意力去噪与复数LSTM的时变信道预测算法

随着无线通信技术的发展,高速场景下通信技术的研究也越来越广泛,其中获取到准确的信道状态信息对提升无线通信系统的性能具有重要的意义。针对正交频分复用系统在高速场景下,现有信道预测算法未考虑噪声影响及预测精度低的问题,提出了一种注意力去噪与复数卷积LSTM的时变信道预测算法。首先,设计了一种通道注意力信道去噪网络对信道状态信息进行去噪处理,降低了噪声对信道状态信息的影响。然后,提出了基于复数卷积层和长短期记忆网络的信道预测模型,对去噪后历史时刻的信道状态信息进行特征提取,并且对未来时刻的信道状态信息进行预测;改进后的LSTM预测模型增强了对信道时序特征的提取能力,提高了信道预测的精度。最后,结合Adam优化器对未来时刻信道状态信息进行预测输出。仿真结果表明:与对比算法相比,所提基于注意力去噪与复数卷积LSTM的时变信道预测算法对信道状态信息的预测精度更高,能够适用于高速移动场景下的时变信道预测。

基于注意力的VAE-ConvLSTM模型的剩余寿命预测研究

为解决传统有监督算法难以达到较高预测精度的问题,提出了一种新的半监督模型。首先,将不同传感器采集的监测数据直接作为网络输入,减少了可能出现的信息损失;接着,在无监督部分采用变分自动编码器(variationalautoencoder,VAE),以自动提取输入数据的深层表达;然后,在有监督部分使用卷积长短期记忆(convolutionallongshort-term memory, ConvLSTM)网络进一步提取时序数据的时空特征,并引入注意力机制,提高重要特征因子的权重;最后,在NASA提供的C-MAPSS数据集上进行对比实验,以均方根误差和数据集自定义的Score作为评价指标。实验结果表明,所提出的模型在复杂预测场景中取得了最好的结果,证明了该模型的有效性。

融合时空特征的城市多站点PM2.5浓度预测

本文提出一种融合时空特征的城市多站点PM2.5预测方法,该方法可以捕捉PM2.5在时间和空间上的相关性,通过将区域多个站点的PM2.5数据转换为一系列静态图像,将其输入到卷积长短期记忆(ConvLSTM)模型中,采用端对端的方式进行训练,预测城市未来多个站点多个时段的PM2.5浓度。以北京多个站点的PM2.5数据进行实验验证。结果表明:考虑了时空特征的ConvLSTM方法在短期预测方面优于其他4种时序方法,该方法可为PM2.5预测提供新的思路。

基于ConvLSTM的北京区域电离层延迟建模

电离层延迟是影响卫星定位精度的重要因素,针对GNSS单频定位中电离层延迟改正精度较低的问题,文中利用Bernese5.2软件处理北京13个CORS站从2016-09-15—2016-10-14的GNSS观测数据,得到北京市及周边区域(31°~47°N,108°~124°E)的VTEC值,并基于ConvLSTM神经网络建立北京市及周边区域的电离层延迟模型VclNet,并将该模型与Klobuchar模型和GIM(c1pg)、GIM(c2pg)、三角级数模型、多项式模型的VTEC预报值进行了精度对比分析。6种预报中,VclNet的效果最好,其对北京市中心点VTEC预报值精度为1.99 TECU,区域VTEC预报值精度为2.09 TECU,Klobuchar模型的预报效果最差,中心点精度和区域精度分别为5.92 TECU和5.99 TECU。