基于足底压力和卷积长短期记忆神经网络的前交叉韧带断裂智能辅助诊断

提出一种基于卷积长短期记忆神经网络的深度学习模型PressureConvLSTM,用来提取行走过程中足底压力的空间特征和时序特征,并进行步态分类。通过对前交叉韧带断裂患者的足底压力数据分析,实现智能辅助诊断。结合临床数据的实验结果表明,PressureConvLSTM模型对前交叉韧带断裂的辅助诊断,能够达到95%的预测准确度;与卷积神经网络等其他模型相比,准确度得到大幅度提升。

基于近红外光谱数据的一维卷积神经网络模型研究

近红外光谱技术已被广泛应用于各种检测行业,但传统方法难以汇集光谱关键信息,导致模型预测误差较大。为减少误差,基于452个茄科植物,以化学成分为目标,探索了一维卷积神经网络(1DCNN)在近红外数据上的回归模型研究。经参数优化,总结了一套兼顾精度与训练效率的1DCNN模型参数,为后续模型研究提供参考。模型测试集的均方根误差为0.02~0.49,平均相对误差为0.8%~1.7%,远小于历史文献。相比传统方法,1DCNN可充分利用全部近红外谱图数据,且建模简单,模型预测能力强。该工作能为近红外光谱相关研究提供新的数据处理思路,也能促进该技术的应用与发展。

一维卷积神经网络的自编码癫痫发作异常检测模型

目的将一维卷积神经网络(1DCNN)作为自编码模型的特征提取网络,利用1DCNN对头皮脑电信号(EEG)局部特征的感知能力来提高自编码模型(AE)在低维特征空间的表达能力,提出一种简单高效的癫痫异常检测模型。方法癫痫发作后会出现标志性的EEG波形变化,通过1DCNN的局部特征提取能力,捕捉正常信号的局部信息;利用正常数据训练自编码器,学习正常EEG数据在低维特征空间的表达,作为异常数据的癫痫EEG数据会脱离正常数据的低维特征空间,从而自编码模型无法有效地实现癫痫异常信号的重构;首先将输入和输出的差值作为异常分数值,然后通过ROC曲线的最优平衡点确定阈值,超过阈值的EEG信号被诊断为癫痫发作数据。利用公开数据集CHB-MIT脑电数据集和TUH脑电数据集,评估本文所提出的1DCNN-AE癫痫检测模型。结果从AUC值和癫痫事件检测两个任务来看,1DCNN-AE模型在患者平均水平下的AUC值分别达到了CHB-MIT的0.890和TUH的0.686,癫痫检测率达到了0.974和0.893,其结果优于最新癫痫异常检测模型LSTM-VAE和模型GRU-VAE。对于模型参数量而言,与LSTM-VAE的47.4M和GRU-VAE的36.9M等模型参数量相比,1DCNN模型的参数量Params达到了58.5M,处于同一个量级;但1DCNN-AE模型计算量FLOPs为0.377G,远远小于LSTM-VAE的21.6G和GRU-VAE的16.2G。结论1DCNN的自编码模型能有效地实现癫痫发作异常检测。

基于时空长短时记忆神经网络的地基云图预测算法

针对传统云运动轨迹预测方法存在的预测精度差、空间结构细节信息丢失等问题,提出一种基于时空长短时记忆(ST-LSTM)神经网络的地基云图预测模型。首先使用卷积编码网络提取输入视频流的高维图像特征;然后在特征提取模型中对图像潜在信息进行多分支获取,一部分使用ST-LSTM神经网络提取不同帧之间的时空特征,另一部分将图像序列进行分解,并通过基于门控机制的记忆融合网络来获取分解后图像中的结构细节信息;最后将得到的分支特征进行组合后经过解码网络输出最终的预测视频流。在地基云图、Moving MNIST和Human 3.6M数据集上的实验结果表明,在图像预测准确率、结构细节信息保留效果以及人眼主观感受上,该预测模型均优于对比模型。与基准模型TaylorNet相比,所提模型在Moving MNIST数据集上均方误差指标和平均绝对误差指标分别降低15.7%和11.8%,在地基云图数据集上,其结构相似性指标与峰值信噪比指标分别提升1%和3.2%,且生成的视频流数据更为清晰,能够更准确地描述云层未来的运动状况,从而更可靠地预测光伏电站未来的输出功率。

一种基于一维卷积神经网络的试井模型智能识别方法

为提高试井分析工作效率,实现试井模型的自动识别,提出了基于一维卷积神经网络(1D CNN)的试井模型智能识别方法。根据实测数据的特点,提出基于理论曲线构建样本库的原则与方法,并构建了4种常用油藏模型的训练样本库;建立了一维卷积神经网络模型,将样本库中双对数曲线的压力变化和压力导数数据作为输入,油藏类别作为网络输出训练及优化网络,总识别准确率可达99.16%,敏感度均在98%以上。经4口井实例应用,正确识别试井模型的概率大于0.99,与二维卷积神经网络相比,1D CNN显著降低了计算复杂度和时间成本,加快了训练速度。这表明基于试井理论所构建的样本库是有效的,能满足实测数据模型识别的需求;同时证明了方法的有效性、实用性和普适性。

基于卷积长短时深度神经网络的信号调制方式识别方法

针对信号调制方式识别计算复杂度高、低信噪比(SNR)条件下识别率较低、网络结构相对单一的问题,提出一种基于卷积长短时深度神经网络(CLDNN)的信号调制方式识别方法。首先,采用基准开源数据集RadioML2016.10a,对该数据集做同相正交(I/Q)数据转换,并将得到的结果作为网络输入;其次,构建CLDNN模型,模型分为三层卷积神经网络(CNN)、两层长短期记忆(LSTM)网络和两层全连接网络(FCN);最后,对所提模型进行训练及测试,得到分类结果。实验结果表明,对11种信号在不同SNR下进行调制方式识别时,与现有的单一网络结构模型如残差神经网络(RES)模型、CNN模型和残差生成对抗网络(RES-GAN)模型进行对比,随着SNR的提升,CLDNN模型的识别准确率也随之提高,且CLDNN模型的识别准确率均高于其他3种对比模型,当SNR在4 dB以上时,达到了92%。

循环相关熵和一维浅卷积神经网络轴承故障诊断

针对传统二维深度卷积神经网络结构复杂、易产生过拟合和难以有效处理低信噪比信号的问题,提出了一种基于循环相关熵和一维浅卷积神经网络的故障诊断-CCe-1D SCNN方法。该方法综合利用了一维浅卷积神经网络结构简单、计算复杂度低和循环相关熵能在低信噪比环境下有效提取故障特征的优点。首先,计算轴承故障振动信号的循环相关熵函数、循环相关熵谱密度函数和广义循环平稳度;其次,将一维归一化的广义循环平稳度作为一维浅卷积神经网络的输入层,通过一维浅卷积神经网络自动实现故障特征提取和模式分类;最后,将CCe-1D SCNN方法应用于电机轴承故障特征提取和分类,实验结果表明:CCe-1D SCNN方法在低噪声比情况下仍能保持很高的模式识别正确率,为一种自动故障特征提取和模式识别的有效方法。

联合卷积神经网络与长短期记忆深度网络的桥梁损伤识别

为准确评估桥梁结构状态,提升损伤识别效率,提出基于联合卷积神经网络(CNN)与长短期记忆(LSTM)深度网络的桥梁损伤识别方法,并用振动台试验数据进行验证。结合CNN空间特征和LSTM时间特征提取能力,构建桥梁结构损伤识别架构;提取5类时频域损伤特征,经对比分析后,采用结合平均频率和平均能量的组合特征进行损伤识别;基于振动台试验数据及其有限元模型数据识别了斜拉桥模型的损伤,并将识别结果分别与CNN、LSTM的识别结果对比。结果表明:采用联合CNN与LSTM深度网络建立的损伤识别方法可有效识别出桥梁的损伤位置和损伤程度,且偏差小,识别结果优于CNN、LSTM;未布置传感器的位置损伤识别精度较低;轻微损伤识别准确率相对较低。

基于深度神经网络的设备剩余使用寿命预测研究

随着传感器在工业设备上的广泛部署,数据驱动的设备状态预测与健康管理技术逐渐成为工业界和学术界研究的热点。该文针对其中的设备剩余使用寿命预测问题展开研究。利用深度神经网络建立设备剩余使用寿命预测模型的关键步骤,并基于C-MAPSS公开数据集,评价前馈神经网络、卷积神经网络、长短期记忆网络三种典型深度神经网络用于剩余使用寿命预测的性能,实验结果显示考虑时序特征的长短期记忆网络具有显著的性能优势,最后对该方向的发展趋势展开讨论。

基于联合注意力机制和一维卷积神经网络-双向长短期记忆网络模型的流量异常检测方法

针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSMOTE方法对流量数据不平衡训练样本预处理,使得各类流量数据均衡,有助于后续模型对各类数据的充分训练。然后设计联合注意力机制和1DCNN-BiLSTM的模型对流量数据进行训练,提取流量数据的局部和长距离序列特征并进行分类,通过注意力机制将对分类有用的特征按其重要性赋予权值,提高对少数攻击类的检出率。实验结果表明,同几种现有方法相比,该文方法对NSL-KDD和CICIDS2017数据集的检测准确率最高(可达93.17%和98.65%),对NSL-KDD数据集中的提权攻击(U2R)攻击流量的检出率至少提升13.70%,证明了该文方法提升少数类攻击流量检出率的有效性。

基于CNN-LSTM-AM神经网络的多维长序列物流需求预测

物流需求预测是物流管理中的关键环节,但是在现实生活中,物流需求可能受到诸如天气、经济状况、特殊事件等多方面因素的影响,这使得问题呈现出多维度、长序列的特征。随着深度学习和神经网络的发展,越来越多的研究开始尝试使用神经网络模型进行物流需求预测,但是单一的神经网络模型在处理多维度、长时间序列的预测任务时常常表现欠佳。由此文章提出了一种基于CNN-LSTM-AM的神经网络模型,用于多维长序列物流需求预测。通过消融实验与其他模型的对比,结果表明,其平均绝对误差(MAE)、均方根误差(RMSE)、决定系数(R2)均值分别为1.56、1.63和0.981,均优于其他6种神经网络模型,为物流企业提供了一个有效的参考来更好地规划资源和降低成本。

基于生成对抗网络和混合时空神经网络的入侵检测

针对网络入侵检测领域存在检测准确率低的问题,研究异常流量样本少和分类器性能不佳时的入侵检测模型,提出一种基于改进生成对抗网络和混合时空神经网络的入侵检测模型。改进生成对抗网络通过学习异常流量样本的分布特性,生成具有特定标签的人工异常流量样本;融合卷积神经网络和双向长短时记忆神经网络提取攻击流量的时空融合特征,利用注意力机制对时空融合特征进行加权,构建混合时空神经网络对网络流量进行分类预测。在UNSW-NB15数据集上对所提模型进行仿真实验,准确率和F1分数分别为92.93%和94.81%,表明所提模型能够有效改善原始数据集中的类别不平衡性问题,提高对异常流量样本的检测能力和网络入侵的检测准确率。

基于轻量化卷积神经网络的蜂窝流量低复杂度预测方法

随着蜂窝网络数据流量需求的高速增长,对于未来时刻蜂窝流量情况的精准预测,可以帮助改善网络资源分配、实现流量负载均衡,并部署基站节能与休眠策略。基于轻量化线性瓶颈结构,提出了一个具有多个并列分支结构的空时预测模型,分别提取近期历史数据和周期性历史数据中的空时特征。对于网格化空时数据中的空间依赖性,额外通过K-Means算法对网格高维特征进行聚类,并提取网格基站密度信息作为跨域特征输入到模型中,实现了使用低复杂度、低算力需求模型对研究范围全域流量的精准预测。

基于数据增强型一维改进卷积神经网络的变压器故障诊断方法

为提升基于深度学习的变压器故障诊断精度,提出了一种数据增强型一维改进卷积神经网络的变压器故障诊断方法。首先,针对传统变分自编码器数据生成过程中的盲目性弊端,提出改进变分自编码器(improved variational autoencoder,IVAE)优化变压器溶解气体数据生成策略。其次,为使深层网络结构能适应变压器溶解气体数据,构建一维改进卷积神经网络(one-dimensional improved convolutional neural network,1D-ICNN)作为故障诊断分类器。最后,通过算例仿真验证了所提方法的可行性和适应性。结果表明IVAE能有效解决变压器故障数据样本少、诊断准确率低的局限;数据增强型1D-ICNN在分类精准度上表现优异,准确度提升了13.49%,研究结果可为变压器故障的准确诊断提供新思路。

三维卷积神经网络及其在视频理解领域中的应用研究

3维卷积神经网络(3D CNN)是近几年来深度学习研究中的热点,在计算机视觉领域取得了诸多成就。虽然研究多年且成果丰富,但目前仍缺少关于此内容全面、细致的综述。基于此,该文从以下几个方面对其进行综述:首先阐述3维卷积神经网络的基本原理和模型结构,接着从网络结构、网络内部和优化方法总结3维卷积神经网络的相关改进工作,然后对3维卷积神经网络在视频理解领域中的应用进行总结,最后总结全文内容并对未来发展方向进行展望。该文针对3维卷积神经网络的最新研究进展以及在视频理解领域中的应用进行了系统的综述,对3维卷积神经网络的研究发展具有一定的积极意义。

双向长短时记忆神经网络在滩坝砂储层岩性识别中的应用

研究区致密滩坝砂储层油气储量丰富,勘探开发潜力较高,但存在埋藏深、单层厚度薄、渗透率超低、孔隙结构复杂以及单井自然产能极低的特征,储层划分与岩性识别困难。针对测井数据具有纵向时序连续的特点,构建一个双向长短时记忆神经网络(BiLSTM)岩性识别模型,采用随机森林方法对常规测井数据等参数进行特征选择,将选择的参数作为输入变量训练BiLSTM模型。应用该模型对测试集的井资料进行验证,结果表明模型的岩性识别准确率为0.86,取得了良好的应用效果,证明了BiLSTM模型适用于滩坝砂储层岩性识别。

利用一维超深度卷积神经网络的金银花NIRS分类模型设计

当前应用于近红外光谱(NIRS)数据定性分析的经典一维卷积神经网络(1D-CNN)模型,通过增加卷积核数量,导致模型臃肿、参数量巨大、计算复杂度高,同时易产生过拟合。为克服传统方法的不足,改进传统1D-CNN模型为一维超深度卷积神经网络模型。首先,采集金银花近红外光谱为样本数据,并采用KS法对样品集预处理;其次,改进传统1D-CNN中的隐含层结构为一维超深度卷积神经网络,并针对NIRS数据适应性进行改进,使其可直接应用于一维NIRS数据;最后,用分层算法完成训练集、验证集和测试集的划分,构建基于一维超深度卷积神经网络的金银花NIRS分类模型。结果表明,改进后的一维超深度卷积神经网络训练集的准确率达到100%,测试集的准确率达到99.57%,损失值收敛为0.018附近。与传统1D-CNN模型相比,本设计模型的训练集与测试集的准确率分别提升了约0.05%与1%,同时,参数量和FLOPs分别减少约47%和5%,并且可大幅度降低过拟合。

基于一维卷积神经网络的儿童身体活动类型识别模型构建研究

目的:通过构建高精度、高效的儿童身体活动类型识别模型,为监控儿童日常身体活动及肥胖预防等提供科学、有效的工具。方法:基于包含10种儿童身体活动类型(慢走、快走、慢跑、快跑、走上楼梯、走下楼梯、跳绳、站起、坐下、保持静止)的三轴加速度计数据集,设计了计算复杂度较低的一维卷积神经网络结构ConvNet1D-4,对数据集中10种儿童身体活动类型通过不同的组合方式开展了网络模型的训练和分类研究,并与以往研究成果进行了比较分析。结果:一维卷积神经网络模型ConvNet1D-4对10种儿童身体活动类型分类平均准确率为91.9%,合并2种加速度计数据相似的身体活动生成9种活动类型时,平均准确率为99.5%,均优于前人研究结果,且模型的计算复杂度更低。结论:基于一维卷积神经网络的儿童身体活动类型识别模型ConvNet1D-4性能优良,分类效率高,可在儿童日常身体活动的监控中实现规模化应用。

冲击噪声下基于演化长短时记忆神经网络的调制信号识别

为了解决冲击噪声下长短时记忆(long short term memory,LSTM)神经网络调制信号识别方法抗冲击噪声能力弱和超参数难以确定的问题,本文提出了一种演化长短时记忆神经网络的调制识别方法。利用基于短时傅里叶变换的卷积神经网络(convolution neural network,CNN)去噪模型对数据集去噪;结合量子计算机制和旗鱼优化器(sailfish optimizer,SFO)设计了量子旗鱼算法(quantum sailfish algorithm,QSFA)去演化LSTM神经网络以获得最优的超参数;使用演化长短时记忆神经网络作为分类器进行自动调制信号识别。仿真结果表明,采用所设计的CNN去噪和演化长短时记忆神经网络模型,识别准确率有了大幅度的提高。量子旗鱼算法演化LSTM神经网络模型降低了传统LSTM神经网络容易陷于局部极小值或者过拟合的概率,当混合信噪比为0 dB,所提方法对11种调制信号的平均识别准确率达到90%以上。

基于卷积长短时记忆深度神经网络的带内全双工非线性数字自干扰消除

带内全双工(IBFD)技术能够有效提高无线通信系统的频谱效率,近年来引起了广泛关注。然而,同时发送和接收引起的线性和非线性自干扰给IBFD带来了巨大挑战。传统的非线性自干扰消除主要是基于多项式模型和深度神经网络(DNN)来实现。多项式模型方法存在模型失配导致自干扰效果恶化的风险,而DNN方法无法针对高维数据特有的空频相关性、时间相关性等特点进行处理。该文基于卷积长短时记忆深度神经网络(CLDNN),通过在输入层中引入3维张量以及在卷积层设置复数卷积层结构,分别设计了两种重建自干扰信号的网络结构——2维CLDNN(2D-CLDNN)和复值CLDNN(CV-CLDNN),充分利用卷积神经网络局部感知和权值共享的优势,在高维特征中学习到更抽象的低维特征,从而提高自干扰消除的效果。实际场景中获得数据的评估结果显示,当功率放大器记忆长度M和自干扰信道多径长度L满足M+L=13时,通过总共60次训练轮数,该文提出的结构比传统DNN方法在非线性自干扰消除方面可以实现至少26%的改进,训练轮数也有明显减少。