基于双向循环卷积神经网络的网络异常流量监测

由于对网络流量特征的提取结果存在偏差,导致对应的监测结果可靠性较低,为此,提出一种基于双向循环卷积神经网络的网络异常流量监测方法。在构建双向循环卷积神经网络阶段,通过感知器单元激活流量数据后,利用交叉熵代价函数对流量数据在神经网络各神经元之间的传递进行约束,并将卷积神经网络中的卷积层替换为循环卷积层,通过在卷积层的输出结果中添加空数据,实现对网络流量特征的循环迭代计算,将最终提取到的特征参量作出异常流量判断标准输出到池化层。当待监测的网络流量数据输入到循环卷积神经网络后,通过拟合其特征参量与池化层特征之间的关系,判断其是否存在异常,并根据时间标签计算网络异常流量的规模。测试结果表明,设计方法可以实现对异常流量的准确监测。

基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

基于卷积循环神经网络的运动想象脑电信号模式识别

脑机接口技术可以帮助运动障碍人员通过外部设备与环境进行交互。为了提高对运动想象激发的脑电信号的识别率,提出一种基于卷积神经网络(Convolutional Neural Network, CNN)和循环神经网络(Recurrent Neural Network, RNN)的混合神经网络模式识别方法,并在实际计算中使用长短期记忆神经网络(Long Short-Term Memory, LSTM)和门控循环单元(Gated Recurrent Unit, GRU)两种不同的RNN进行对比。对原始脑电信号数据进行滤波和分段处理,将处理好的数据输入到混合神经网络中,使用Softmax进行分类,用BCI竞赛IV中的数据集2a和数据集1两种脑电数据集进行验证,此方法能够有效地提高模式识别精度,平均准确率达到了95%以上。

基于循环卷积神经网络的上下文感知协同过滤推荐模型

随着网络信息的爆炸式增长,推荐系统在缓解信息过载和信息迷航问题方面发挥着关键作用.如何更好地利用海量的网络信息挖掘用户的偏好和项目的特征成为当前研究的热点.针对这一热点,本文设计了一种深度混合模型从而更充分的提取文本上下文信息特征辅助推荐,提出的基于循环卷积神经网络的上下文感知协同过滤推荐模型通过利用循环卷积神经网络挖掘项目描述文本上下文信息中的特征,再结合概率矩阵分解实现评分预测.此外,探究利用多头注意力机制重点关注文本上下文信息中的多项重要信息.模型在两个公开数据集ML-100k和ML-10m上进行了实验,实验结果表明,本研究所提出的模型在RMSE和MAE评价指标上相较于广泛使用的基线模型有明显改进,其中RMSE指标在ML-100k数据集上的有效性比aSDAE高出5.42%.

基于双向多层门控循环神经网络的奶牛乳脂率预测模型研究

通过对奶牛乳脂率进行数据预测以及结合随机森林算法对环境数据进行精准特征选择,确定了对乳脂率影响较大的环境因素。在此基础上,提出了将随机森林算法与双向多层门控循环神经网络相结合的乳脂率预测模型(RF-BiGRU)并进行了相关实验。结果表明,该模型能够提高预测的准确性及效率。

基于改进门控循环神经网络的采煤机滚筒调高量预测

采煤机自适应截割技术是实现综采工作面智能化开采的关键技术。针对采煤机在复杂煤层下自动截割精度较低的问题,提出了一种基于改进门控循环神经网络(GRU)的采煤机滚筒调高量预测方法。鉴于截割轨迹纵向及横向相邻数据之间的相关性,采用定长滑动时间窗法对获取的采煤机滚筒高度数据进行预处理,将输入数据划分为连续、大小可调的子序列,同时处理横向、纵向的特征信息。为提高模型预测效率,满足循环截割的实时性要求,提出了一种用因果卷积改进的门控循环神经网络(CC-GRU),对输入数据进行双重特征提取和双重数据过滤。CC-GRU利用因果卷积提前聚焦序列纵向的局部时间特征,以减少计算成本,提高运算速度;利用门控机制对卷积得到的特征进行序列化建模,以捕捉元素之间的长期依赖关系。实验结果表明,采用CC-GRU模型对采煤机滚筒调高量进行预测,平均绝对误差(MAE)为43.80 mm,平均绝对百分比误差(MAPE)为1.90%,均方根误差(RMSE)为50.35 mm,决定系数为0.65,预测时间仅为0.17 s;相比于长短时记忆(LSTM)神经网络、GRU、时域卷积网络(TCN),CC-GRU模型的预测速度较快且预测精度较高,能够更准确地对采煤机调高轨迹进行实时预测,为工作面煤层模型的建立和采煤机调高轨迹的预测提供了依据。

循环相关熵和一维浅卷积神经网络轴承故障诊断

针对传统二维深度卷积神经网络结构复杂、易产生过拟合和难以有效处理低信噪比信号的问题,提出了一种基于循环相关熵和一维浅卷积神经网络的故障诊断-CCe-1D SCNN方法。该方法综合利用了一维浅卷积神经网络结构简单、计算复杂度低和循环相关熵能在低信噪比环境下有效提取故障特征的优点。首先,计算轴承故障振动信号的循环相关熵函数、循环相关熵谱密度函数和广义循环平稳度;其次,将一维归一化的广义循环平稳度作为一维浅卷积神经网络的输入层,通过一维浅卷积神经网络自动实现故障特征提取和模式分类;最后,将CCe-1D SCNN方法应用于电机轴承故障特征提取和分类,实验结果表明:CCe-1D SCNN方法在低噪声比情况下仍能保持很高的模式识别正确率,为一种自动故障特征提取和模式识别的有效方法。

基于循环卷积神经网络的排水管网缺陷检测方法

市政排水系统关乎城市道路交通安全,故对其状况进行评估非常重要。在发达国家,闭路电视(CCTV)是下水道评估和维护的主要检测工具,却也为其数据处理带来了新的挑战。本文提出一种基于循环卷积神经网络(RCNN)的排水管网缺陷检测方法。RCNN采用残差网络(ResNet)作为特征提取模块,提取排水管网图像序列的视觉特征,采用双向LSTM学习识别时间特征,以完成排水管网缺陷分类的任务。本文方法将图像序列作为一个整体进行识别。训练集、验证集和测试集共包含8800个图像序列,211200幅图像。经过RCNN模型的训练和测试,测试集的最高准确率为90.3%。将4种不同融合方式引入本文方法并与基于SVM的方法和基于单帧的方法进行了6组对照实验,同时将基于视觉注意力机制的3种融合方法引入本文方并进行了对照实验,实验结果表明,RCNN取平均值的融合实验精度最高(90.3%),召回率达到了0.977,验证了本文方法在工程应用中的可行性。

基于贝叶斯优化-卷积神经网络-双向长短期记忆神经网络的锂电池健康状态评估

准确估计电池健康状态是设备稳定运行的关键。针对当前健康状态研究中容量难以直接测量、估计模型调参费时等问题,提出基于多健康特征的贝叶斯优化(BO)算法优化卷积神经网络(CNN)与双向长短期记忆(BiLSTM)神经网络预测模型。基于NASA公开锂电池数据,提取3种健康特征。将CNN与BiLSTM结合,提高时间序列数据处理能力,加入BO算法自动搜寻最优参数集,避免组合网络模型陷入局部最优,从而减少评估时间。对比分析相关神经网络模型,结果表明所提方法预测准确度最高,可有效估计锂电池的健康状态,平均绝对误差和方均根误差均在1%以内。

结合双向循环神经网络和注意力机制的微博文本情感分析

情感分析作为自然语言处理的一个重要分支,广泛应用于各个领域。针对CNN不能联系全文信息,RNN模型存在时序依赖问题,对特征信息提取不充分,本文构建一种结合双向循环神经网络和注意力机制的情感分析模型。首先,在文本表示部分使用Word2Vec模型获得词向量;其次,在训练模型部分构建双向循环神经网络连接注意力机制的组合模型,把双向循环神经网络的输出做3种线性变化后输入Attention机制,以此给隐层特征分配权重来整合文本信息;最后,在simplifyweibo_2_polarities数据集上验证模型的有效性。

改进一维卷积神经网络与双向门控循环单元的轴承故障诊断研究

针对传统智能故障诊断依赖于人工经验进行特征提取和传统卷积神经网络(Convolutional neural networks, CNN)参数过多、训练量过大且无法充分利用时间序列信息的缺点,提出一种基于改进一维卷积神经网络与双向门控循环单元的深度学习新算法。首先,该方法利用一维卷积神经网络自提取能力进行特征提取,同时设计了一个全局均值池化层替换传统卷积神经网络的全连接层,减少参数数量;其次,引入双向门控循环单元学习特征信号中的时间序列关系;最后,通过支持向量机替换传统CNN中的Softmax层进行故障分类,进一步提高诊断的准确率。实验表明,该方法将诊断的准确率提升至99.8%,并且加快了诊断的速度。通过与其他方法的对比,证明了该方法有着更高的准确率,更快的诊断速度,更好的鲁棒性。

基于注意力卷积神经网络的视觉里程计

传统的视觉里程计(visual odometry,VO)要求图像含有大量的纹理信息,且求解过程较为复杂。针对以上问题提出基于注意力卷积神经网络的视觉里程计,对相机进行端到端的位姿估计,利用注意力机制提高模型估计轨迹的精度。首先,使用注意力-卷积神经网络(convolutional neural networks,CNN)模块提取图像特征;然后,将特征输入到门控循环单元(gated recurrent unit,GRU)学习图像的时序连接性;最后,通过全连接层降维输出相机位姿。在KITTI数据集上完成实验,并与其他方法进行对比,结果表明卷积网络中加入注意力机制可以有效提高轨迹估计的精度,且误差低于其他视觉里程计算法。

基于注意力机制循环神经网络的液体火箭发动机故障检测

针对液体火箭发动机主级段工作过程,采用多变量非线性时间序列分析理论,在两级注意力机制循环神经网络(Dual Stage Attention Based Recurrent Neural Networks,DA-RNN)的基础上,提出一种新型时序分析工具——卷积两级注意力机制循环神经网络(Convolutional Dual Stage Attention Based Recurrent Neural Networks,CDA-RNN),从而建立故障趋势预测模型。通过对预测残差进行自相关性分析并定义故障置信概率,提出了故障检测量化依据。利用发生微弱故障的热试车数据进行验证,结果表明,CDA-RNN模型对非稳态工作段微弱故障多参数检测具有良好鲁棒性,该方法十分有效,具有直接应用价值。

融合一维卷积神经网络和双向门控循环单元的APM车辆轮胎径向载荷识别方法

针对轮胎载荷直接测量昂贵复杂及传统载荷识别方法精度低、鲁棒性差的现实,提出了一种融合一维卷积神经网络(1D CNN)和双向门控循环单元(BiGRU)的胶轮车辆轮胎径向载荷识别方法。充分考虑轮胎径向载荷数据的先验信息,以车辆振动响应、车体位姿、运行状态等多源信息构建特征集并经特征选择保留有效的特征子集,构造多时间步输入-单时间步输出的样本用以网络训练。运用1D CNN提取信号的多维度空间特征并输入BiGRU中双向捕获时序特征,得到载荷预测的结果,结合预测精度、泛化性能、鲁棒性能修正理论模型。以APM300型车辆为例进行载荷识别,与传统算法相比,所提方法有效降低了载荷识别的误差,适用于不同运行工况,且能克服不同程度的测量噪声,在工程领域有现实应用价值。

基于JEC-FDTD等效循环神经网络的电磁建模和等离子体参数反演

磁化等离子体中的电磁波传播是重要的研究课题,针对特定场景下的电磁等离子耦合问题,进行有效且准确的方程建模与参数求解具有极强的研究价值和挑战性,这是探究电磁波与等离子体复杂非线性相互作用机制的关键。文中设计了一种可用于电磁等离子体正逆向建模的循环神经网络(recurrent neural network,RNN),该网络正向传播过程等价于任意磁倾角情况下的电流密度卷积时域有限差分(current density convolution finite-difference time-domain,JEC-FDTD)方法,因此可以求解给定的电磁建模问题,并易于大规模并行计算。通过构建前向可微模拟过程,JEC-FDTD方法可以使用自动微分技术准确且高效地计算梯度,然后通过训练网络来解决反问题。因此,该方法可以有效利用观测到的时域散射场信号反演重要的等离子体参数。JEC-FDTD方法和RNN相结合,形成了较强的协同效应,使得模型具有可解释性和高效的计算效率,受益于深度学习提供的优化策略和专用硬件支持,可以适用于不同仿真场景下的电磁建模和等离子体参数反演。

基于深度双向门控循环神经网络的制粉系统故障预警

为构建鲁棒性较强的状态估计模型,结合堆叠自编码器思想,提出一种基于深度双向门控循环神经网络的制粉系统状态估计及故障预警方法。首先,选取制粉系统正常运行状态变量历史数据作为深度双向门控循环神经网络的训练输入,然后利用网络强大的特征学习能力,建立制粉系统正常状态估计模型。采用滑动窗口法构建制粉系统状态监测指标,确定指标阈值,利用火电厂制粉系统历史运行数据进行仿真。结果表明:相比于其他方法,深度双向门控循环神经网络模型具有更好的估计性能,且能够在故障发生前及时发出预警信息,达到早期故障诊断的目的。

基于双向循环卷积神经网络的可见光定位和姿态跟踪:应对环境动态变化

本文研究了动态环境下基于可见光的运动目标位置和姿态跟踪技术(visible light-based position and orientation tracking,VLP).基于信号模型的传统VLP方法通常依赖于具有固定参数的信号传播模型(signal propagation model,SPM).当定位环境随时间变化时,例如当漫散射和接收机响应增益波动变化时,传统VLP算法性能会剧烈下降.为了应对这一挑战,本文提出了一种基于双向循环卷积网络的VLP算法.该算法通过双向循环结构挖掘连续时刻观测数据的时间特征信息,利用3D卷积网络挖掘观测数据中稳定的空间纹理特征信息,采用记忆细胞存储时空纹理特征信息,并利用遗忘门对记忆细胞中缓存的时空信息进行选择性保留,以此保证对时空纹理信息的长期记忆,从而实现对运动目标的高精度定位跟踪.仿真结果表明,相比于现有可见光定位算法,本算法能充分挖掘并融合观测数据中的时间与空间纹理特征来提升定位跟踪性能,在动态环境条件下,定位精度达到1.5 cm.

基于循环神经网络的医院人力资源管理配置有效性研究

合理的人力资源管理配置是医院高效运行的保障。针对现有医院人力资源调度不合理的问题,研究在循环神经网络的基础上引入注意力机制和双向长短期记忆网络,对输入向量进行加权平均处理,建立了医院人力资源管理配置模型。结果表明,研究提出的模型的召回率为0.599,精确度为0.619,在5种对照模型中表现最好;且双向长短期记忆网络的误差与其他3个模型相比较小;人岗位匹配度和自我效能感之间有非常显著的正向关系,当训练数据占比为20%时,双向长短期记忆网络模型比自回归移动平均模型具有更好的优越性。通过研究所构建的模型对样本医院的人力资源配置状况进行评估,为我国医院人力资源管理实践提供了一种新思路和新方法。

基于联合注意力机制和一维卷积神经网络-双向长短期记忆网络模型的流量异常检测方法

针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSMOTE方法对流量数据不平衡训练样本预处理,使得各类流量数据均衡,有助于后续模型对各类数据的充分训练。然后设计联合注意力机制和1DCNN-BiLSTM的模型对流量数据进行训练,提取流量数据的局部和长距离序列特征并进行分类,通过注意力机制将对分类有用的特征按其重要性赋予权值,提高对少数攻击类的检出率。实验结果表明,同几种现有方法相比,该文方法对NSL-KDD和CICIDS2017数据集的检测准确率最高(可达93.17%和98.65%),对NSL-KDD数据集中的提权攻击(U2R)攻击流量的检出率至少提升13.70%,证明了该文方法提升少数类攻击流量检出率的有效性。

基于卷积循环神经网络的芯片表面字符识别

基于积分图运算的阈值分割将图像二值化,使用仿射变换完成文本字段图像的方向校正,从而实现文本行的定位.在原始卷积循环神经网络(CRNN)的基础上,将骨干网络替换成MobileNet-V3结构,在2层LSTM之间加入注意力机制,同时引入中心损失函数.利用改进的CRNN实现文本行字符的识别.将改进后的CRNN在40510张芯片文本行图像上进行测试.通过小样本数据集进行模型微调训练得到多个子模型,从而实现集成推理,使用3个模型的综合识别准确率稳定在99.97%左右,单张芯片图像的总识别时间小于60 ms.实验结果表明,改进的CRNN算法的准确率比原始CRNN提升了大约27.48%,多模型集成推理的方法可以实现更高的准确率.