基于KPCA-CNN-DBiGRU模型的短期负荷预测方法

本文针对已有神经网络模型在短期负荷预测中输入维度过高、预测误差较大等问题,提出了一种结合核主成分分析、卷积神经网络和深度双向门控循环单元的短期负荷预测方法。先运用核主成分分析法对原始高维输入变量进行降维,再通过卷积深度双向门控循环单元网络模型进行负荷预测。以第九届全国电工数学建模竞赛试题A题中的负荷数据作为实际算例,结果表明所提方法较降维之前预测误差大大降低,与已有预测方法相比也有大幅的误差降低。

融合CNN-BiGRU和注意力机制的网络入侵检测模型

为提高网络入侵检测模型特征提取能力和分类准确率,提出了一种融合双向门控循环单元(CNN-BiGRU)和注意力机制的网络入侵检测模型.使用CNN有效提取流量数据集中的非线性特征;双向门控循环单元(BiGRU)提取数据集中的时序特征,最后融合注意力机制对不同类型流量数据通过加权的方式进行重要程度的区分,从而整体提高该模型特征提取与分类的性能.实验结果表明:其整体精确率比双向长短期记忆网络(BiLSTM)模型提升了2.25%.K折交叉验证结果表明:该模型泛化性能良好,避免了过拟合现象的发生,印证了该模型的有效性与合理性.

基于特征选择及ISSA-CNN-BiGRU的短期风功率预测

针对风电功率随机性大、平稳性低,以及直接输入预测模型往往难以取得较高精度等问题,提出了一种基于特征选择及改进麻雀搜索算法(ISSA)优化卷积神经网络-双向门控循环单元(CNN-BiGRU)的短期风电功率预测方法。首先,利用变分模态分解(VMD)将原始功率分解为一组包含不同信息的子分量,以降低原始功率序列的非平稳性,提升可预测性,同时通过观察中心频率方式确定模态分解数。其次,对每一分量采用随机森林(RF)特征重要度的方法进行特征选择,从风速、风向、温度、空气密度等气象特征因素中,选取对各个分量预测贡献度较高的影响因素组成输入特征向量。然后,建立各分量的CNN-BiGRU预测模型,针对神经网络算法参数难调、手动配置参数随机性大的问题,利用ISSA对模型超参数寻优,自适应搜寻最优参数组合。最后,叠加各分量的预测值,得到最终的预测结果。以中国内蒙古某风电场实际数据进行仿真实验,与多种单一及组合预测方法进行对比,结果表明,本文所提方法相比于其他方法具有更高的预测精度,其平均绝对百分比误差值达到2.644 0%;在其他4个数据集上进行的模型准确性及泛化性验证结果显示,模型平均绝对百分比误差值分别为4.385 3%、3.174 9%、1.576 1%和1.358 8%,均保持在5.000 0%以内,证明本文所提方法具有较好的预测精度及泛化能力。

融合1D-CNN与BiGRU的类不平衡流量异常检测

网络流量异常检测是利用各种检测技术分析判断网络流量,发现网络中潜在的攻击,是一种有效的网络安全防护方法。针对高维海量数据和不同攻击类别的网络流量数据不均衡而导致检测准确率低、误报率高的问题,提出一种融合一维卷积神经网络(1D-CNN)和双向门控循环单元(BiGRU)的类不平衡流量异常检测模型。首先,针对类不平衡数据,通过使用改进的合成少数类过采样技术(SMOTE)即Borderline-SMOTE和基于高斯混合模型(GMM)的欠采样聚类技术进行平衡处理;然后,使用1D-CNN提取数据的局部特征,并利用BiGRU更好地提取数据中的时序特征;最后,在UNSW-NB15数据集对所提模型进行验证,所提模型的准确率为98.12%,误报率为1.28%。结果表明,所提模型提高了对少数攻击的识别率,检测精度高于其他经典机器学习和深度学习模型。

基于Mogrifier-BiGRU的飞行器轨迹预测

针对当前飞行器轨迹预测准确性低的问题,引入双向传播机制和Mogrifier数据耦合模块,改进传统门控循环单元网络,提出基于Mogrifier-BiGRU的飞行器轨迹预测算法,加强网络对历史数据的学习与记忆,使得输入信息与隐藏层数据的充分耦合,提高预测准确度。仿真结果表明,所提方法对飞行器轨迹预测的准确度可达到96.26%,满足我方作战指挥人员对战场态势趋势准确预测的实际需求。

基于注意力机制的IWOA-BiGRU超短期风电功率预测

超短期风电功率预测对电力系统调度及大规模风电并网具有重要作用。为得到准确可靠的风电功率预测结果,针对风电功率数据非线性和时序性的特点,提出一种基于IWOA-AT-BiGRU的超短期风电功率预测方法。首先,提出改进鲸鱼优化算法(improved whale optimization algorithm,IWOA)来优化风电功率预测模型的超参数,加速模型收敛,提高预测准确度;然后,在BiGRU中加入注意力机制(AT),AT用来加强重要信息对风功率的影响,BiGRU同时考虑数据的正反向信息,充分挖掘数据的时序特征;最后,通过某风电场实测数据进行实验,结果表明提出的方法预测准确度均高于其他对比模型,具有良好的预测性能。

一种融合注意力机制的CNN-BiGRU磁盘故障预测方法研究

磁盘作为重要的存储介质,一旦出现故障很可能会导致存储数据丢失,给个人及企业带来难以估量的损失。现有磁盘故障预测模型存在不能很好地平衡磁盘数据样本、未充分利用磁盘数据的时序特性等问题。以Backblaze云存储公司公布的真实磁盘数据为研究对象,提出了一种融合注意力机制的卷积神经网络(CNN)和双向门控循环单元(BiGRU)网络的磁盘故障预测模型。在数据预处理方面,采用负采样与焦点损失函数来平衡正负样本,利用CNN进行特征提取,并结合BiGRU网络来有效地处理时序数据。通过融合注意力机制,能够让模型快速地捕捉更多关键特征信息,将筛选出的特征与数据输入模型进行训练。通过对比其他故障预测模型,本文提出的模型在精确率等4个评价指标上均有1%~7%的性能提升,为提高磁盘存储的可靠性提供了有力的支撑。

基于CEEMDAN-SBiGRU-OMHA的短期电力负荷预测

为了提高短期电力负荷预测的精准度,充分挖掘电力负荷数据的复杂相关性,提出了一种优化多头注意力机制的CEEMDAN-SBiGRU组合预测模型,改进了特征提取和特征融合两个模块.首先,采用自适应噪声完全集成经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)将电力负荷数据分解成多个内在模态函数(IMF)和一个残差信号(RES);同时引入降噪自编码器DAE挖掘数据中受气象因素、工作日类型和温度变化的潜在特征.其次,将提取到的复杂特征输入至堆叠双向门控循环单元(stacked bidirectional gated recurrent unit,SBiGRU)模块中继续学习,以获取隐藏状态.最后,将获取的隐藏状态输入至加入残差机制和层归一化优化的多头注意力(optimized multi-head attention,OMHA)机制模块,可以准确地给重要特征分配更高的权重,解决噪声干扰问题.实验结果表明,CEEMDAN-SBiGRU-OMHA组合模型具有更高的精确性.

基于CNN-BiGRU的高压直流输电线路故障识别

针对高压直流(high voltage direct current,HVDC)输电线路故障暂态行波具有时序性和强非线性的特点,导致高过渡电阻情况下故障识别率低的问题,提出基于卷积神经网络(convolutional neural networks,CNN)和双向循环门单元(bidirectional gate recurrent unit,BiGRU)的HVDC输电线路故障识别方法。首先,采用故障后整流侧的双极暂态电流行波作为特征向量,利用CNN提取全局特征,并从中剔除噪声和不稳定成分,完成对数据的降维处理。然后,采用BiGRU来捕获CNN提取到特征的前后时间信息,进一步提取数据中的时序特征,以实现HVDC输电线路故障识别。仿真结果表明:该方法可在不同故障地点以及不同过渡电阻下对单极接地、双极短路、雷击故障、雷击干扰共四种故障实现准确识别,可靠性高,具有较强的耐受过渡电阻能力,同时具备一定的抗噪性能。

基于注意力机制的CNN-BIGRU短期电价预测

针对短期电价预测的复杂性和精确度较差的问题,本文提出一种基于注意力机制的卷积神经网络和双向门控循环单元网络的短期电价预测模型。该模型将历史电价数据经过数据预处理后作为输入,首先利用卷积神经网络提取历史电价序列中的特征;其次,将提取的特征向量构造成时间序列输入到双向门控循环单元网络,充分挖掘特征内部的变化规律进行训练;然后,引入注意力机制来突出重要信息的影响并赋予权重,利用注意力机制对双向门控循环单元网络每个时间步的输出进行加权求和;最后,在全连接层通过激活函数计算输出最终预测值。通过实例验证了本文所提模型的准确性。

基于双注意力机制的MSCN-BiGRU的滚动轴承故障诊断方法

针对滚动轴承故障诊断模型在变工况和环境噪声干扰下诊断精度降低的问题,提出一种基于双注意力机制的多尺度卷积网络(dual attention and multi-scale convolutional networks,DAMSCN)与改进的双向门控循环单元(bidirectional gated recurrent unit,BiGRU)组成的故障诊断模型DAMSCN-BiGRU。首先,多尺度特征融合模块使用不同大小的卷积核,获得多种感受野,从而提取到轴承原始振动信号的多尺度特征信息,并根据重要性对其进行自适应融合,然后利用通道注意力和空间注意力组成的双注意力模块(dual attention module,DAM)对多尺度特征进行重新标定,分配注意力权重,削弱融合特征中的冗余特征;然后,增加注意力层和利用分段激活改进BiGRU进而挖掘信号的时域特征,以提高轴承故障诊断的性能;最后,通过Softmax层完成对不同故障的分类。试验结果表明,与其他智能诊断模型相比,DAMSCN-BiGRU在变工况环境下,平均诊断精度达到98.2%,在强噪声背景下仍然有着85.3%的准确率,且在不同程度的噪声强度下效果均优于其他常用模型,有利于促进滚动轴承的智能故障诊断研究和实际应用。

基于ResNet-TSM和BiGRU网络的移动视频感知质量评价模型

考虑到卡顿、质量切换、内容特征等因素对用户体验质量的影响都会直接体现在客户端的失真视频里,提出了一种客户端的移动视频感知质量评价模型。该模型无须对每种影响因素均进行表征和度量,而是基于深度特征提取+回归的思路,直接建立失真视频与平均意见分数之间的映射模型。首先,构建了ResNet-TSM网络结构,提取失真视频片段的深度时空特征;为了避免维度灾难,采用LargeVis算法对提取的深度特征进行降维,同时提升特征的表达与区分能力。然后,采用双向门控循环单元网络对视频的长时间依赖关系进行建模,得到各视频片段的打分,再利用时间平均池化方法将各片段分数进行聚合,得到整个视频的打分结果。在WaterlooSQoE-Ⅲ和LIVE-NFLX-Ⅱ数据集上的实验结果表明,提出的模型可以获得更高的预测精度。

基于DL-BiGRU多特征融合的注塑件尺寸预测方法

为了充分挖掘注塑成型过程中模腔内的高频时序特征和注塑成型机状态特征,提出基于双层双向门控循环单元网络(DL-BiGRU)的多特征融合注塑件尺寸预测方法.分析膜腔内传感器高频时序特征与注塑件尺寸间的关联性,采用DL-BiGRU网络从高频数据中自动提取时序特征,表征注塑件成型过程状态变化特性.通过采样模腔内高频时序数据进行展成平铺,表征注塑成型的瞬时特征.融合时序特征、瞬时特征和成型机状态特征,构建端到端的深度学习多特征融合框架.将上述3种特征融合并联合训练,提升注塑件尺寸预测精度.在注塑成型数据集上进行模型验证,预测尺寸平均均方误差为4.7×10^(-4) mm^(2),最小误差波动为10^(-5) mm^(2)量级,模型具有较高的预测精度和稳定性.

基于多传感器信息融合和CNN-BIGRU-Attention模型的液压防水阀故障诊断方法

在建筑工程领域,尤其是在工程搅拌设备中,涉及到复杂液压工作介质,液压防水阀往往会出现不同程度的故障。此外,恶劣的工作环境和复杂的噪声背景使得对液压防水阀的故障进行诊断变得困难。为了解决这一难题,提出了一种基于多传感器信息融合和卷积神经网络-双向门控循环单元-自注意力机制(CNN-BIGRU-Attention)模型的防水阀故障诊断方法。首先,考虑到单一传感器振动信号难以充分表达故障特征,该方法使用了3个传感器采集含噪声的振动信号,并进行了必要的预处理;其次,提取了信号的16个时域特征、5个频域特征以及3个时频域特征,并利用熵权法进行了特征融合,达到了增强特征的目的;然后,将融合的多维特征集输入到CNN-BIGRU-Attention模型中进行了特征识别;最后,利用实际的液压防水阀故障诊断实验,验证了该方法的有效性。研究结果表明:采用多传感器提取的特征更为全面,信息融合有助于捕捉更完整的隐藏数据特征,从而显著提高诊断的准确率;相较于其他特征识别方法,采用CNN-BIGRU-Attention模型的液压防水阀故障诊断准确率可分别提高6.7%、4.6%和14.2%,达到了96.86%,证明了该方法的有效性。该方法将先进的机器学习技术与实际工程应用相结合,为建筑工程问题提供了一种新颖、有效的解决方案。

基于改进BiGRU的刀具磨损预测

针对双向门控循环神经网络(bidirectional gated recurrent unit,BiGRU)超参数难以确定以及对重要特征捕捉能力较弱的问题,提出了一种改进模型用于刀具磨损预测。模型采用经过下采样的多通道传感器数据作为输入,使用随机搜索算法自适应的确定深度学习模型的最优超参数组合,并引入注意力机制与指数搜索算法增强对全局特征与局部趋势的捕捉能力。模型在PHM2010数据集上进行了实验验证,结果表明,该方法可快速确定超参数组合,并获得更稳定的预测值,具有更好的综合性能。

基于CNN BiGRU RF模型的TBM掘进参数预测研究

作为井下巷道掘进的新工法,全断面隧道掘进机(TBM)有显著的经济效益,对TBM的掘进参数进行预测对于确保TBM的掘进效率具有重要意义。对现场获取的TBM数据进行清洗和预处理,利用皮尔逊相关系数法对模型输入特征进行筛选,并构建基于卷积神经网络(CNN)优化的双向门控循环单元(BiGRU)神经网络并通过随机森林(RF)进行集成的TBM掘进参数预测模型,实现对TBM掘进参数的预测。研究结果表明:选取与总推力和推进速率关联度最密切的刀盘转速、刀盘扭矩和贯入度作为特征参数;构建的CNN BiGRU RF模型预测掘进参数对总推力和推进速率的拟合优度R 2均值分别为0.950和0.966,均方误差MSE平均值分别为0.750和0.782,均方根误差RMSE平均值分别为0.866和0.885,平均绝对误差MAE平均值分别为1.054和1.007,并且回归评价指标MSE、RMSE、MAE相较于CNN BiGRU模型,分别降低2.497、0.966和0.386,R 2提升23.4%,证明CNN BiGRU RF模型的预测准确度和泛化性最高。该研究可为实际工程掘进参数预测提供指导,有助于推动TBM在煤矿的推广,保障TBM的施工进度。

基于DCNN网络及Self-Attention-BiGRU机制的轴承剩余寿命预测

深度神经网络在剩余寿命预测(RUL)领域得到了广泛的应用。传统的滚动轴承寿命预测模型存在预测精确度较低、鲁棒性较弱的问题。为了进一步提升预测模型的精确度以及鲁棒性,提出了一种融合深度卷积神经网络(DCNN)、双向门控循环单元(BiGRU)以及自注意力机制(Self-Attention)三种模块的滚动轴承剩余使用寿命预测模型。首先,利用DCNN网络对原始振动信号的时域特征、频域特征进行了提取;然后,使用不确定量化的方法对提取到的特征进行了评价和筛选,利用筛选过后的特征构建了新的替代特征集;最后,利用Self-Attention-BiGRU网络对轴承的剩余使用寿命进行了预测,并在IEEE PHM2012数据集上进行了验证。实验结果表明:相较于BiGRU、GRU和BiLSTM三种模型的预测结果,基于DCNN及Self-Attention-BiGRU方法的预测结果最优,两项误差值:平均绝对误差(MAE)、均方根误差(RMSE)最低,其中工况一的一号轴承RUL预测的MAE值相较于BiGRU、GRU以及BiLSTM网络分别下降了7.0%、7.4%和6.5%,RMSE值相较于其他三种模型分别下降了7.6%、8.4%和6.9%,预测的Score值最高,分值为0.985。通过不同数据集的划分,证明了该方法在轴承RUL预测时的强鲁棒性。实验结果验证了基于DCNN网络及Self-Attention-BiGRU模型在轴承剩余使用寿命预测中的有效性。

基于ERNIE-BiGRU-Attention-CRF的电子病历命名实体识别方法

目的/意义改善中文电子病历命名实体识别模型的性能,更好地开展医疗信息的组织和挖掘。方法/过程构建ERNIE-BiGRU-Attention-CRF中文电子病历命名实体识别模型,首先采用ERNIE1.0预训练模型生成具有语义特征的词向量,然后利用BiGRU捕获全局语义特征与语法结构特征,通过Attention机制进一步增强语义特征的捕获,最后连接CRF解码层输出全局概率最大的标签序列。结果/结论在公开的医疗文本数据集CCKS2017开展对比实验、消融实验,利用生成的模型进行实例分析,取得较好的识别效果。

基于DSConvBiGRU网络和热电堆阵列的动态手势识别方法

提出了适用于嵌入式系统并融合深度可分离卷积神经网络与双向门控循环单元的DSConvBiGRU网络模型,将其用于动态手势序列的分类,设计并实现了一种使用低分辨率热电堆阵列传感器的动态手势识别解决方案,构建了动态手势数据集并在公开网站发布,完成了预训练网络模型在Raspberry Pi边缘端的部署。系统对传感器输出的连续20个温度矩阵进行区间映射、背景减除、Lanczos插值和Otsu二值化预处理得到单个动态手势序列,再由预训练的DSConvBiGRU网络进行分类。实验结果表明:网络模型在测试集上识别准确率为99.291%,在边缘端预处理耗时5.513 ms,推理耗时8.231 ms,该系统满足低功耗、高精度和实时性的设计需求。

基于多任务双层注意力优化的TCN-BiGRU综合能源负荷短期预测

基于多元负荷预测是综合能源系统(IES)生产计划和能源调度的前提,提出一种基于多任务双层注意力优化的时序卷积网络与双向门控循环单元相结合(TCN-BiGRU)的综合能源负荷短期预测方法。首先,将特征集通过最大互信息系数法进行相关性分析,构建不同负荷的输入特征集;然后,输入多任务学习平台进行离线训练,其中的共享层采用高效通道注意力网络(ECANet)优化的TCN,特定任务层则采用自注意力机制优化的BiGRU;最后,选取亚利桑那州立大学坦佩校区冬季和夏季典型日的实际数据进行在线测试。测试结果表明,对比多种深度神经网络模型,所提方法在冬季和夏季的多元负荷加权平均绝对百分比误差分别最大降低了69.35%和73.26%,加权均方根误差分别最大降低70.11%和79.46%。