基于BERT-BiGRU-CNN模型的短文本分类研究

针对传统语言模型不能解决深层双向表征和分类模型不能充分捕获文本显著特征的问题,提出了一种基于BERT-BiGRU-CNN(Bidirectional Encoder Representation from Transformers-Bidirectional Gating Recurrent Unit-Convolutional Neural Networks)的文本分类模型。首先,该模型使用BERT预训练语言模型进行文本表示;其次,将BERT的输出数据输入BiGRU中,以捕获文本的全局语义信息;然后,将BiGRU层的结果输入CNN中,捕获文本局部语义特征;最后,将特征向量输入Softmax层得到分类结果。实验采用中文新闻文本标题数据集,结果表明,基于BERT-BiGRU-CNN的文本分类模型在数据集上的F_(1)值达到0.948 5,优于其他基线模型,证明了BERT-BiGRU-CNN模型可提升短文本的分类性能。

基于Bert-BiGRU-CNN的文本情感分析

针对文本情感分析中区分一词多义现象和特征提取性能问题,提出了Bert-BiGRU-CNN文本情感分析模型。模型利用Bert得到动态词向量,解决了一词多义对文本情感分析的影响;通过BiGRU获取长文本序列特征,采用CNN提取局部重点特征,提高模型特征提取性能。经在酒店评论和在线购物数据集上的实验测试,将Bert、BiGRU和CNN有效结合,使文本情感分类性能比基线模型有了较好的提升,体现了Bert-BiGRU-CNN文本情感分析模型的有效性。

基于BiGRU-CNN-Attention模型的股市评论情感分析

人们对股市的评论能够反映出股票投资人对股市的关注程度以及投资意向,对股市评论进行情感分析有利于证券投资机构和个人投资者做出更合理的投资决策。爬取了东方财富网股吧的股市评论记录,选取其中9000条评论作为股市评论数据集,将双向门控循环单元、卷积神经网络和注意力机制结合,对该股市评论数据集进行情感分析研究,并采用GRU、BiGRU、BiGRU-Attention、CNN-BiGRU算法与之比较。实验结果表明,BiGRU-CNN-Attention网络模型在准确率(accuracy)、精确率(precision)、召回率(recall)和F1值(F-measure)均有较好表现,非常适用于该类短文本数据的情感分析。

基于改进BiGRU-CNN的中文文本分类方法

传统的自注意力机制可以在保留原始特征的基础上突出文本的关键特征,得到更准确的文本特征向量表示,但忽视了输入序列中各位置的文本向量对输出结果的贡献度不同,导致在权重分配上存在偏离实际的情况,而双向门控循环单元(BiGRU)网络在对全局信息的捕捉上具有优势,但未考虑到文本间存在的局部依赖关系。针对上述问题,提出一种基于改进自注意力机制的BiGRU和多通道卷积神经网络(CNN)文本分类模型SAttBiGRUMCNN。通过BiGRU对文本序列的全局信息进行捕捉,得到文本的上下文语义信息,利用优化的多通道CNN提取局部特征,弥补BiGRU忽视局部特征的不足,在此基础上对传统的自注意力机制进行改进,引入位置权重参数,根据文本向量训练的位置,对计算得到的自注意力权重概率值进行重新分配,并采用softmax得到样本标签的分类结果。在两个标准数据集上的实验结果表明,该模型准确率分别达到98.95%和88.1%,相比FastText、CNN、RCNN等分类模型,最高提升了8.99、7.31个百分点,同时精确率、召回率和F1值都有较好表现,取得了更好的文本分类效果。

基于原位EIS参数与改进BiGRU算法的侧柏苗木生长预测研究

侧柏苗木的生长预测对于苗木未来的出圃时间、调整现有苗木的种植方案等方面意义重大。本文运用原位电阻抗图谱技术发现4 kHz下的阻抗相位角、400 kHz下阻抗正切值可以表示侧柏根系的健康程度,与茎粗、株高、分枝数等指标共同构成代表侧柏苗木质量的特征向量;同时,设计了基于多维双向的时空融合模型(CNN-DBiGRU-WBLS),该模型可以有效解决多因素输入下未来4周、8周、16周的侧柏生长数据预测问题,Willmott一致性指数(WI)值达到0.993、0.975和0.948,比CNN-BiGRU、CNN-LSTM、CNN-BiLSTM和CNN-GRU等现有模型WI最优值提升了0.6%、1.1%和1.5%以上。试验结果表明,本文算法对侧柏苗木生长指标具有较好的预测性能。

基于改进卷积网络的终端区4D航迹预测与冲突检测

随着不断扩大的旅客运输量和航线网络规模,采用飞行计划结合空中交通管制的空中管理办法已经不能与当前民航需求和空中交通流量相匹配,直接影响到航班正常率和运行安全。为解决这一问题,国际民航组织(International Civil Aviation Organization,ICAO)提出了基于航迹运行(trajectory based operation,TBO)的下一代空中交通管理运行理念,中国民航也提出了智慧民航的建设方案和目标。其中4D航迹是TBO运行的核心组成部分,也是中国建设智慧民航的重要技术指标,其可以对航空器的运行进行精确地管理和控制。因此,提高4D航迹预测的准确性成为了目前急需解决的核心问题。面向航空器的飞行任务实施阶段,从4D航迹预测和冲突检测两个问题进行了研究。在航迹预测方面,采用了基于卷积神经网络-双向门控循环单元(convolutional neural networks-bidirectional gated recurrent unit,CNN-BiGRU)的模型对航迹进行高精度预测;在冲突检测方面,引入了航迹距离检测函数以检验预测模型生成的两条航迹是否存在冲突。通过使用某繁忙终端区真实广播自动相关监视(automatic dependent surveillance-broadcast,ADS-B)历史轨迹数据进行实验,并将该方法与同一数据集上的单一长短时记忆网络(long short-term memory,LSTM)模型和门控循环单元(gated recurrent unit,GRU)模型进行了比较。仿真实验表明,CNN-BiGRU模型的评价指标均优于对比模型,同时预测的两条航迹在未来800 s内不存在冲突。所提出的方法为空中交通管理提供了一种有效的手段,具有重要的应用价值。

基于交叉注意力的多源数据融合的气体泄漏检测

为解决单一传感器在管道气体泄漏检测时容易出现误报、漏报的问题,及时预警并反馈泄漏状况,提出一种基于交叉注意力的多源数据融合管道泄漏检测方法。首先,利用预训练的ShuffleNetV2模型提取热像仪数据的空间特征;然后,结合一维卷积神经网络(1DCNN)和双向门控循环单元(BiGRU),构建1DCNN-BiGRU模型,以提取气体传感器数据的时序特征;最后,运用交叉注意力捕获数据的时空关联性得到2个数据源的特征表示,通过残差方式进行特征连接后输入到分类层中,得到识别结果。结果表明:所构建的多源数据融合模型(SCGA)对气体识别准确率为99.22%,损失值在0~0.04内波动;与仅使用气体传感器数据的支持向量机(SVM)、1DCNN、BiGRU模型相比,准确率至少提升4.12%;与仅使用热图像传感器数据的MobileNetV3、ShuffleNetV2、ResNet18模型相比,准确率至少提升1.14%;与将时序特征和空间特征直接拼接的多源数据融合模型(SCG)相比,准确率提升1%。SCGA模型对气体识别具有较高精度。

基于数据优化和CQR-CNN-BiGRU模型的光伏功率超短期区间预测

现有光伏功率区间预测算法通常侧重于提高覆盖率和缩小预测区间,未能充分考虑实际调度中的经济成本和风险成本,从而限制了这些算法在调度决策方面的实际应用。引入了“最优置信度”概念,提出了一种创新的光伏功率区间预测方法,将数据优化与CQR算法以及CNN-BiGRU神经网络模型相结合。首先对经预处理后的光伏功率序列进行优化,采用分解-重构的思想,将光伏功率序列分解为趋势分量、周期分量和随机分量;然后结合多个气象因素,分别输入经改进麻雀搜索算法优化的CQRCNN-BiGRU神经网络中,建立各自的区间预测模型,叠加三个分量的区间预测结果,实现光伏功率的区间预测。仿真结果表明,所提方法的预测区间能够更接近预设的最优置信度,同时能够快速、有效地获得更高质量的预测区间。

融合1D-CNN与BiGRU的类不平衡流量异常检测

网络流量异常检测是利用各种检测技术分析判断网络流量,发现网络中潜在的攻击,是一种有效的网络安全防护方法。针对高维海量数据和不同攻击类别的网络流量数据不均衡而导致检测准确率低、误报率高的问题,提出一种融合一维卷积神经网络(1D-CNN)和双向门控循环单元(BiGRU)的类不平衡流量异常检测模型。首先,针对类不平衡数据,通过使用改进的合成少数类过采样技术(SMOTE)即Borderline-SMOTE和基于高斯混合模型(GMM)的欠采样聚类技术进行平衡处理;然后,使用1D-CNN提取数据的局部特征,并利用BiGRU更好地提取数据中的时序特征;最后,在UNSW-NB15数据集对所提模型进行验证,所提模型的准确率为98.12%,误报率为1.28%。结果表明,所提模型提高了对少数攻击的识别率,检测精度高于其他经典机器学习和深度学习模型。

基于注意力机制的CNN-BIGRU短期电价预测

针对短期电价预测的复杂性和精确度较差的问题,本文提出一种基于注意力机制的卷积神经网络和双向门控循环单元网络的短期电价预测模型。该模型将历史电价数据经过数据预处理后作为输入,首先利用卷积神经网络提取历史电价序列中的特征;其次,将提取的特征向量构造成时间序列输入到双向门控循环单元网络,充分挖掘特征内部的变化规律进行训练;然后,引入注意力机制来突出重要信息的影响并赋予权重,利用注意力机制对双向门控循环单元网络每个时间步的输出进行加权求和;最后,在全连接层通过激活函数计算输出最终预测值。通过实例验证了本文所提模型的准确性。

基于CEEMDAN-SE-VMD和CNN-BIGRU的短期负荷预测

针对电力负荷预测的精度较低问题,提出一种基于CEEMDAN-SE-VMD和CNN-BIGRU组合模型的负荷预测方法。首先该模型采用自适应噪声的完全经验模态分解(CEEMDAN)处理成分复杂的原始负荷数据,经过分解后得到若干个包含不同频率成分的本征模函数(IMF)。再利用样本熵(SE)对分解后不同频率的本征模函数进行熵值聚类重组。然后,利用变分模态分解(VMD)对重组后的高频序列进行二次分解,将二次分解后得到的子序列和样本熵重组的低频序列和趋势序列数据输入卷积神经网络(CNN)网络,利用其来提取反映负荷序列复杂相关的高位特征向量。最后,再输入到双向门控循环单元(BIGRU)网络中进行预测,得到各子序列的预测结果,叠加得到最终的负荷序列预测结果。通过横向和纵向实验结果对比,证明所提出的模型能够较好地提升电力负荷预测精度。

基于注意力机制的CNN和BiGRU的加密流量分类

针对传统加密流量分类方法准确率低、利用流量载荷会侵犯用户隐私,以及泛化能力弱的问题,提出一种基于注意力机制的CNN和BiGRU(CNN-AttBiGRU)的加密流量分类方法,可以同时适用于常规加密和VPN、Tor加密流量。该方法基于包大小、包到达时间以及包到达方向将流量转化为直观的图片,为提高模型准确率,使用CNN提取流量图片的空间特征,同时设计BiGRU和Self-attention模型提取时间特征,充分利用流量图片的时间和空间特征,可按照流量类别、加密技术和应用类型对流量进行不同层面的分类。该方法对加密流量类别分类的平均准确率达95.2%,较以往提升11.65%;对加密技术分类的准确率达95.5%,较以往提升7.1%;对流量所使用的应用程序分类的准确率达99.8%,较以往提升11.03%。实验结果表明,CNN-AttBiGRU方法的泛化能力强,并且其仅利用加密流量的部分统计特征,有效地保护了用户隐私,同时取得了高准确率。

基于CNN-BiGRU的恶意域名检测方法

恶意域名检测对于防范僵尸网络等网络攻击具有重要意义。该文提出一种基于CNN和BiGRU的恶意域名检测方法CNN-BiGRU-Focal,利用卷积神经网络和双向门控循环单元网络来进行特征的融合学习,并引入改进的Focal Loss函数用以解决数据不平衡问题。与LSTM、CNN、GRU、ATT-CNN-BiLSTM方法的对比实验表明,文章方法在多分类实验中检测准确率分别提高1.43百分点、2.89百分点、1.27百分点、2.43百分点,在二分类实验中检测准确率分别提高0.19百分点、0.12百分点、1.41百分点、0.3百分点。实验表明CNN-BiGRU-Focal方法在恶意域名的检测上有着更好的性能。

基于多传感器信息融合和CNN-BIGRU-Attention模型的液压防水阀故障诊断方法

在建筑工程领域,尤其是在工程搅拌设备中,涉及到复杂液压工作介质,液压防水阀往往会出现不同程度的故障。此外,恶劣的工作环境和复杂的噪声背景使得对液压防水阀的故障进行诊断变得困难。为了解决这一难题,提出了一种基于多传感器信息融合和卷积神经网络-双向门控循环单元-自注意力机制(CNN-BIGRU-Attention)模型的防水阀故障诊断方法。首先,考虑到单一传感器振动信号难以充分表达故障特征,该方法使用了3个传感器采集含噪声的振动信号,并进行了必要的预处理;其次,提取了信号的16个时域特征、5个频域特征以及3个时频域特征,并利用熵权法进行了特征融合,达到了增强特征的目的;然后,将融合的多维特征集输入到CNN-BIGRU-Attention模型中进行了特征识别;最后,利用实际的液压防水阀故障诊断实验,验证了该方法的有效性。研究结果表明:采用多传感器提取的特征更为全面,信息融合有助于捕捉更完整的隐藏数据特征,从而显著提高诊断的准确率;相较于其他特征识别方法,采用CNN-BIGRU-Attention模型的液压防水阀故障诊断准确率可分别提高6.7%、4.6%和14.2%,达到了96.86%,证明了该方法的有效性。该方法将先进的机器学习技术与实际工程应用相结合,为建筑工程问题提供了一种新颖、有效的解决方案。

基于CNN BiGRU RF模型的TBM掘进参数预测研究

作为井下巷道掘进的新工法,全断面隧道掘进机(TBM)有显著的经济效益,对TBM的掘进参数进行预测对于确保TBM的掘进效率具有重要意义。对现场获取的TBM数据进行清洗和预处理,利用皮尔逊相关系数法对模型输入特征进行筛选,并构建基于卷积神经网络(CNN)优化的双向门控循环单元(BiGRU)神经网络并通过随机森林(RF)进行集成的TBM掘进参数预测模型,实现对TBM掘进参数的预测。研究结果表明:选取与总推力和推进速率关联度最密切的刀盘转速、刀盘扭矩和贯入度作为特征参数;构建的CNN BiGRU RF模型预测掘进参数对总推力和推进速率的拟合优度R 2均值分别为0.950和0.966,均方误差MSE平均值分别为0.750和0.782,均方根误差RMSE平均值分别为0.866和0.885,平均绝对误差MAE平均值分别为1.054和1.007,并且回归评价指标MSE、RMSE、MAE相较于CNN BiGRU模型,分别降低2.497、0.966和0.386,R 2提升23.4%,证明CNN BiGRU RF模型的预测准确度和泛化性最高。该研究可为实际工程掘进参数预测提供指导,有助于推动TBM在煤矿的推广,保障TBM的施工进度。

基于深度学习的金融市场波动率预测模型

波动率在金融投资和风险管理中扮演着至关重要的角色,能够反映金融资产的收益和风险水平,为构建期权量化投资策略和决策以及风险控制提供重要参考指标。然而,波动率具有非线性和长期依赖性问题,如每日变化趋势不稳定,未来变化趋势与历史数据相关等。为解决这些问题,本文基于改进的Transformer构建了波动率预测模型TGC-FinTrans(TCN-BiGRU-CNN Finance Transformer)。实验结果表明,该模型在预测金融数据波动率方面优于其他基线方法,能够更加准确地预测波动率并捕捉金融市场的复杂变化,为投资者提供更为精准的决策参考。

基于融合模型的网络安全态势感知方法

伴随着网络技术的飞速发展,网络安全面临的风险也日益增加,网络攻击呈现复杂化、多样化的特征,给现有网络攻击应对措施带来了巨大挑战。态势感知技术作为一种新兴概念,为网络安全领域带来了新的思路。针对现有网络安全态势感知方法存在数据特征提取及较长时间序列数据处理能力不足的问题,提出一种融合堆栈稀疏自编码器(SSAE)、卷积神经网络(CNN)、双向门控循环单元(BiGRU)和注意力机制(AM)的模型。通过SSAE和CNN提取数据特征,利用AM强化BiGRU对关键信息的关注度,实现对异常流量的攻击类别判定,并结合网络安全态势量化指标,对网络安全态势进行量化评分并划分等级。实验结果表明,融合模型在各项指标上均优于传统深度学习模型,能够准确感知网络态势。

基于CNN-BiGRU-AT的凝汽器传热系数预测

以掌握凝汽器传热性能为目标,采用基于CNN-BiGRU-AT(基于注意力机制的卷积神经网络和双向门控循环单元)的模型对凝汽器传热系数进行预测。以某电厂1 000 MW机组的凝汽器作为研究对象,首先分析凝汽器特性,构建凝汽器传热系数计算的理论模型;然后通过CNN(卷积神经网络)对传热特性影响因素的数据特征进行提取,并利用BiGRU(双向门控循环单元)提取数据间长短期依赖关系;最后使用AT(注意力机制)来突出特征中的重要部分,由此构建了基于CNN-BiGRU-AT的凝汽器传热系数预测模型。分析计算结果表明,与传统的理论计算及BP(反向传播)网络、GRU(门控循环单元)网络相比,采用CNNBiGRU-AT模型的计算结果更加精确且规律性好。

基于ISSA-CNN-BiGRU-Attention的锂电池健康状态评估

健康状态(SOH)预测对于电池管理系统至关重要。针对电池健康状态评估建模复杂、预测误差大等问题,准确的SOH预测仍需要改进。本文结合容量增量分析(ICA)和差分电压分析(DVA)方法,提出了一种改进麻雀优化算法(ISSA)-卷积神经网络(CNN)-双向门控递归单元(BiGRU)-注意力机制(Attention)的锂电池健康状态评估方法。通过对容量增量(IC)曲线和差分电压(DV)曲线进行高斯滤波处理,避免了噪声的影响。通过马里兰大学先进的生命周期工程中心(CALCE)数据进行处理,从滤波后的IC和DV曲线上提取一组新的电池老化特征,所提4个老化特征与SOH之间的Pearson相关系数在0.9以上。使用ISSA-CNN-BiGRU-Attention方法来构建电池SOH的预测模型,将所提方法与CNN、BiGRU、CNN-BiGRU等方法进行比较,实验结果表明,该方法的MAE与RMSE误差最大值分别为0.00544和0.00717,对比其他模型,具有优秀的鲁棒性和准确性,具有更好的实际使用价值。

基于振动信号与深度学习的电力变压器故障诊断方法

针对当前电力变压器机械故障实时诊断准确率较低的问题,本文提出了一种基于振动信号与深度学习的电力变压器故障诊断方法。首先针对电力变压器箱体表面振动信号采用改进自适应噪声完备经验模态分解(ICEEMDAN)对其进行分解以获取重构信号,并引入模糊熵值构建振动特征向量。然后以卷积神经网络-双向门控循环单元(CNN-BiGRU)组成基础分类网络以实现特征分类,并引入高效通道注意力机制(ECAM)提升CNN学习性能。最后设计一种基于ICMIC混沌映射、自适应动态扰动和精英反向学习混合改进得到多策略协同优化秃鹰搜索(MSCOBES)算法,并将改进后的算法应用于实现CNN-BiGRU的超参数寻优,从而得到基于MSCOBES-CNN-BiGRU-ECAM的电力变压器故障诊断优化模型。在实验中对于试验变压器的机械故障进行诊断,实验结果表明本文所提出的方法对于电力变压器不同类型的机械故障的诊断准确率可达99.4%。