引入上下文信息和Attention Gate的GUS-YOLO遥感目标检测算法

目前基于通用YOLO系列的遥感目标检测算法存在并未充分利用图像的全局上下文信息,在特征融合金字塔部分并未充分考虑缩小融合特征之间的语义鸿沟、抑制冗余信息干扰的缺点。在结合YOLO算法优点的基础上提出GUS-YOLO算法,其拥有一个能够充分利用全局上下文信息的骨干网络Global Backbone。除此之外,该算法在融合特征金字塔自顶向下的结构中引入Attention Gate模块,可以突出必要的特征信息,抑制冗余信息。另外,为Attention Gate模块设计了最佳的网络结构,提出了网络的特征融合结构U-Net。最后,为克服ReLU函数可能导致模型梯度不再更新的问题,该算法将Attention Gate模块的激活函数升级为可学习的SMU激活函数,提高模型鲁棒性。在NWPU VHR-10遥感数据集上,该算法相较于YOLOV7算法取得宽松指标mAP^(0.50)1.64个百分点和严格指标mAP^(0.75)9.39个百分点的性能提升。相较于目前主流的七种检测算法,该算法取得较好的检测性能。

基于改进YOLOv5s的输电线路螺栓缺销检测方法

针对无人机输电线路巡检图像中螺栓缺销检测精度较低、漏检较多的问题,提出了一种基于改进YOLOv5s的输电线路螺栓缺销检测方法。在Backbone部分嵌入Coordinate Attention注意力模块;在Neck部分原有的“FPN+PAN”结构的基础上,新增一条“自顶向下”的特征信息传递路径,跨越临近的同尺度特征层,与较浅层网络以加权融合的方式进行特征融合;将Head部分设置为解耦检测头,将对螺栓检测的分类任务与定位任务分开进行。改进后的YOLOv5s算法增强了对螺栓特征信息的学习能力。使用本方法在螺栓缺销数据集上实验,精确率提升了2.3%,召回率提升了3.4%,平均精度提升了3.1%,检测速度达到了41.1帧/秒,表明改进后的方法能提升输电线路螺栓缺销的检测能力,在智能巡检中具有一定的应用价值。

改进注意力机制嵌入PR-Net模型的水稻病害识别仿真

针对现有的CNN模型在水稻叶部病害的识别中准确率较低的问题,提出了一种结合并行结构和残差结构的混合卷积神经网络模型PRC-Net(parallel residual with coordinate attention network)。引入并行结构,提高卷积的感受野;结合残差结构,使特征信息完整的连续传递;在骨干模型PR-Net中嵌入改进的空间注意力机制,增强对不同尺度病斑特征信息的凝聚程度;为进一步提升病害识别的准确率,并减少模型的训练时间和推理时间,通过改变加权方式对模型结构进行优化。仿真结果表明:与InceptionResNetV2等分类模型相比,PRC-Net具有更少的训练参数、更短的训练时间和更高的识别精度,性能优于其他作物病害识别模型。

基于深度学习提取时空信息的流域内库水位预测模型研究

为了解决流域连通水库增多,库水位影响因素复杂且具有非平稳性,难以直接通过水文计算预测的问题,对流域水文站点日降雨序列进行分析,首先将时间序列经小波变换去噪,在此基础上采用最大信息系数(MIC)相关性分析筛选与日水位序列相关性,增加了输入时序降雨与预测水位相关的信息密度,并提出将强相关性序列输入引入Attention机制的长短期记忆(LSTM)预测模型,提高LSTM神经网络选择和提取序列特征的能力。以福建某流域站点实测日降雨序列为例进行试验,结果表明该方法的均方预测误差仅为0.1908,相比LSTM模型有更高的预测精度,为水库水情调度及防洪减灾管理提供了决策依据。

基于FasterNet和YOLOv5改进的玻璃绝缘子自爆缺陷快速检测方法

为了实现对电力输电线路中绝缘子缺陷实时快速的巡检需求,提出了一种结合FasterNet-tiny和YOLOv5-s-v6.1网络模型改进的缺陷快速检测算法FasterNet-YOLOv5。首先引入参数量小推理速度更快的FasterNet网络替换原先的CSPDarkNet53主干网络,加快网络的检测速度。然后结合由GhostNetv2网络提出的解耦全连接注意力机制(decoupled fully connected,DFC),在主干特征提取网络中设计了DFC-FasterNet模块,模块中的DFC Attention机制可以在特征提取过程中增大感受野,提升网络的检测精度。最后针对玻璃绝缘子自爆缺陷目标较小和背景较复杂的情况,重新设计Neck模块,提出BiFPN-F特征融合模块,使网络更精确地定位绝缘子缺陷区域。实验结果表明:改进后的算法可以快速精准定位,其均值平均精度(mean average precision,mAP)达到93.3%,相较于改进前提升5.67%,检测速度达到45.7 Hz,较改进前提升近1倍。同时与最新的YOLOv8n和YOLOv7-tiny相比,改进后的FasterNet-YOLOv5在自爆缺陷上的检测精度和速度更具优势,该文所提算法能够更快速地对绝缘子及其自爆缺陷实时定位识别。

一种采用记忆神经网络和曲线形状修正的负荷预测方法

针对分布式电源和新型负荷容量累积造成负荷影响因素多元化和不确定性特性增强的问题,文中提出一种采用记忆神经网络和曲线形状修正的负荷预测方法。在负荷峰值预测中,采用最大信息系数计算负荷峰值与影响因素的非线性相关性,实现对输入特征的筛选;综合考虑负荷峰值序列的长短期自相关性和输入特征与负荷峰值的不同程度相关性,结合Attention机制和双向长短时记忆(bidirectional long short-term memory,BiLSTM)神经网络建立负荷峰值预测模型。在负荷标幺曲线预测中,通过误差倒数法组合相似日和相邻日,建立负荷标幺曲线预测模型;针对预测偏差的非平稳特征,利用自适应噪声的完全集成经验模态分解和BiLSTM网络建立误差预测模型,对曲线形状进行修正。应用中国北方某城市的区域电网负荷数据为算例,验证了所提模型的有效性。

基于改进残差网络的油气柱高度预测

针对目前油气柱高度预测技术局限于传统的地质方法且预测效果不太理想的现状,展开一种基于改进残差神经网络的油气柱高度预测的研究.该模型从断层解释和油藏解剖提取的圈闭结构化特征数据中提取特征信息,以估计油气柱高度.模型将原始残差块中的串行连接网络变成多个并行连接的网络,可以在多个尺度上同时进行卷积再聚合,能提取到不同尺度的特征,使其变成一个稀疏性、高计算性能的网络结构;同时保留了网络中跳跃连接的结构,缓解了在深度神经网络中增加深度带来了梯度消失和网络退化的问题,通过直接将输入信息绕道传到输出,保护信息的完整性;并在模型的首层和尾层增加注意力模块,来捕获集中于某个局部信息,使模型其能更快地收敛.此外对机器学习中常用的RF和BP神经网络以及深度学习中CNN、GoogleNet、ResNet和ResNet+Atten在圈闭数据上的应用进行了比较和分析.实验结果表明,改进的ResNet对油气柱高度预测有更加准确的结果 .

基于改进BiLSTM的电力工程数据智能分析算法设计

针对目前电力工程费用计算复杂、时间成本较高且准确性低的问题,文中开展了基于改进BiLSTM的电力工程数据智能分析算法设计研究。从技术、工程量和费用三个维度构建了电力工程数据智能分析指标体系,进而提出了一种基于BiLSTM与Attention联合模型的电力工程费用预测算法。该算法将电力工程数据作为BiLSTM的模型输入,并采用Attention机制提高了对重要数据的关注程度。通过引入数据指标与电力工程费用的自动关联分析技术,实现了对电力工程费用的精准预测。仿真算例分析结果表明,与LSTM及BiLSTM算法相比,所提算法具有更高的预测准确性,平均预测误差小于5%。

基于Coordinate Attention和空洞卷积的异物识别

在我国工厂的工业化生产中,带式运输机占有重要的地位,但是在其运输物料的过程中,常有木板、金属管、大型金属片等混入物料中,从而对带式运输机的传送带造成损毁,引起巨大的经济损失.为了检测出传送带上的不规则异物,设计了一种新的异物检测方法.针对传统异物检测方法中存在的对于图像特征提取能力不足以及网络感受野相对较小的问题,我们提出了一种基于coordinate attention和空洞卷积的单阶段异物识别方法.首先,网络利用coordinate attention机制,使网络更加关注图像的空间信息,并对图像中的重要特征进行了增强,增强了网络的性能;其次,在网络提取多尺度特征的部分,将原网络的静态卷积变为空洞卷积,有效减少了常规卷积造成的信息损失;除此之外,我们还使用了新的损失函数,进一步提高了网络的性能.实验结果证明,我们提出的网络能有效识别出传送带上的异物,较好地完成异物检测任务.

基于深度学习域适应的飞机结冰图像气泡提取方法

针对采用深度学习方法提取结冰显微图像中的气泡需要大量标注数据,但人工标注气泡任务较为困难的问题,提出了一种基于风格迁移网络CycleGAN和图像分割网络Attention U-Net的域适应提取方法。该方法通过程序模拟气泡形态生成的图像为源域,结冰显微图像为目标域,通过CycleGAN将源域图像转为目标域风格,采用风格转换后的源域数据集训练Attention U-Net网络。通过对比实验对无标注结冰图像和少量标注图像两种情况进行验证。实验结果表明,在无标注图像的情况下,可实现无监督的结冰显微图像的气泡提取;在只有少量标注图像的情况下,该方法可实现更精确的气泡提取。

基于ALBERT-Seq2Seq-Attention模型的数字化档案多标签分类

针对现有的数字化档案多标签分类方法存在分类标签之间缺少关联性的问题,提出一种用于档案多标签分类的深层神经网络模型ALBERT-Seq2Seq-Attention.该模型通过ALBERT(A Little BERT)预训练语言模型内部多层双向的Transfomer结构获取进行文本特征向量的提取,并获得上下文语义信息;将预训练提取的文本特征作为Seq2Seq-Attention(Sequence to Sequence-Attention)模型的输入序列,构建标签字典以获取多标签间的关联关系.将分类模型在3种数据集上分别进行对比实验,结果表明:模型分类的效果F1值均超过90%.该模型不仅能提高档案文本的多标签分类效果,也能关注标签之间的相关关系.

基于CNN-LSTM-Attention和自回归的混合水位预测模型

【目的】水位预测对交通运输、农业以及防洪措施具有重要影响。精确的水位值可用于提升水道运输的安全及效率、降低洪水风险,同时也是保障区域可持续发展的必要条件。【方法】提出一种CRANet的混合水位预测模型,以卷积神经网络(CNN)、长短期记忆网络(LSTM)、注意力机制以及自回归(AR)组件为基础,旨在应对时间序列数据中存在的线性与非线性问题,缓解自回归及ARIMA模型的缺陷。其应用不仅在于为航运调度提供决策支撑,加强导航安全效率,同样能提升防洪减灾的能力。其中,CNN和LSTM组件有效地针对数据集内的局部和全局关系进行捕捉,AR组件则能充分考虑数据的时间序列特性。同时,通过注意力机制,模型能够优先考虑相关特性,提高预测效果。【结果】研究成果所提出的模型已成功应用于中国西江梧州站的水位预测,在测试集上预测未来3 h级别水位的MAE、RMSE和R^(2)分别为0.086、0.114 5和0.950 8。【结论】结果表明所提出的CRANet模型在水位预测方面的高可用性、准确度与稳健性,相较于AR、SVR、CNN、LSTM等模型具有更优的MAE、RMSE和R^(2)。

基于注意力机制优化LSTM-Seq2seq模型的径流模拟研究

实时准确地预测中长期日径流对干旱半干旱地区水资源合理利用具有重要意义。针对长短期记忆网络(long short-term memory,LSTM)模型输入输出时间步长度相等、处理长序列遗忘多、无法按重要程度分配权重等不足,构建了一种基于注意力机制(attention mechanism,Attention)优化的LSTMSeq2seq组合模型(LSTM-Seq2seq-Attention)。该模型将序列到序列模型(sequence to sequence,Seq2seq)中编码器、解码器设置为三层LSTM结构,并在解码器输出序列前引入注意力机制对模型进一步优化。为验证LSTM-Seq2seq-Attention模型的有效性,本研究以党河上游为研究区域,基于历史数据对流域未来1~7 d的日径流进行模拟预测;预测结果与传统的机器学习模型支持向量机(support vector machines,SVM)以及单一的LSTM模型预测结果进行了对比。结果表明:SVM、LSTM和LSTMSeq2seq-Attention模型均可用于短期日径流预测;但相比之下,LSTM-Seq2seq-Attention模型在中长期日径流预测中的预测效果更突出。说明LSTM-Seq2seq-Attention模型较单一模型具备更强的预测能力,可作为干旱半干旱地区中长期日径流预测模拟的可靠工具。

基于HGTC−YOLOv8n模型的煤矸识别算法研究

现有基于深度学习的煤矸识别方法在煤矿井下低照度、高噪声及运动模糊等复杂工况下存在煤矸识别精度低、小目标煤矸容易漏检、模型参数量和运算量大,难以部署到计算资源有限的设备中等问题,提出了一种基于HGTC−YOLOv8n模型的煤矸识别算法。采用HGNetv2网络替换YOLOv8n的主干网络,通过多尺度特征的有效提取,提高煤矸识别效果并减少模型的存储需求和计算资源消耗;在主干网络中嵌入三重注意力机制模块Triplet Attention,捕获不同维度间的交互信息,增强煤矸图像目标特征的提取,减少无关信息的干扰;选用内容感知特征重组模块(CARAFE)来改进YOLOv8n颈部特征融合网络上采样算子,利用上下文信息提高感受视野,提高小目标煤矸识别准确率。实验结果表明:①HGTC−YOLOv8n模型的平均精度均值为93.5%,模型的参数量为2.645×10^(6),浮点运算量为8.0×10^(9),帧速率为79.36帧/s。②平均精度均值较YOLOv8n模型提升了2.5%,参数量和浮点运算量较YOLOv8n模型分别下降了16.22%和10.11%。③与YOLO系列模型相比,HGTC−YOLOv8n模型的平均精度均值最高,且参数量和浮点运算量最少,检测速度较快,综合检测性能最佳。④基于HGTC−YOLOv8n模型的煤矸识别算法在煤矿井下复杂工况下,改善了煤矸识别精度低、小目标煤矸容易漏检等问题,满足煤矸图像实时检测要求。

融合MacBERT和Talking⁃Heads Attention实体关系联合抽取模型

针对现有的医学文本关系抽取任务模型在训练过程中存在语义理解能力不足,可能导致关系抽取的效果不尽人意的问题,文中提出一种融合MacBERT和Talking⁃Heads Attention的实体关系联合抽取模型。该模型首先利用MacBERT语言模型来获取动态字向量表达,MacBERT作为改进的BERT模型,能够减少预训练和微调阶段之间的差异,从而提高模型的泛化能力;然后,将这些动态字向量表达输入到双向门控循环单元(BiGRU)中,以便提取文本的上下文特征。BiGRU是一种改进的循环神经网络(RNN),具有更好的长期依赖捕获能力。在获取文本上下文特征之后,使用Talking⁃Heads Attention来获取全局特征。Talking⁃Heads Attention是一种自注意力机制,可以捕获文本中不同位置之间的关系,从而提高关系抽取的准确性。实验结果表明,与实体关系联合抽取模型GRTE相比,该模型F1值提升1%,precision值提升0.4%,recall值提升1.5%。

基于上下文语义联合YOLOv7的分心驾驶检测算法

针对分心驾驶检测方法存在实时性差、精度低、可部署性差的问题,提出了一种基于上下文语义增强联合YOLOv7的分心驾驶检测算法。首先将模型backbone和head部分的ELAN模块替换成语义上下文增强模块(contextual transformer,CoT),提高上下文语义信息的捕获能力。其次,将语义关联增强机制(triplet attention)融入卷积块中,插入backbone和head的连接头之间以及融合MP2模块,强化目标间的关联关系以及提升目标特征提取能力。最后,将自注意力双向Transformer模块(Biformer)模块融合SPPCSPC模块,提升模型对分心驾驶中的复杂场景和遮挡目标的处理能力。改进的YOLOv7算法在分心驾驶数据集下平均精度均值(mean average precision,mAP)达到了87.3%,比原算法提高了4.3%,模型参数量减少了4.7%,每秒传输帧数达到了90 fps,具有较好的检测精度与速度。

基于Conformer的端到端中英文管制语音识别

将语音识别技术应用到空中交通管理系统中可以提高飞行安全并降低管制员的工作负荷,目前已有的管制语音识别技术在中英文识别上效果较差,因此提出了一种基于Conformer-CTC/Attention的中英文管制语音识别框架。该方法使用基于改进的Conformer共享编码器对输入序列进行语言分类并以参数有效的方式对音频序列的局部和全局相依性进行建模,添加了语种分类模块来判断输入语音序列的语种,还采用了CTC解码器和注意力解码器联合解码的多任务建模方法。最后在建立的民航数据集对所提出的框架进行验证,试验结果表明,Conformer-CTC/Attention(Language-Category)相对于基线模型错误率降低,识别效果达到预期。

基于渐进式分解架构的风电时间序列预测

准确预测风电机组各项指标对准确管控机组和调控电网的供需有着重要意义.预测指标任务可抽象为风电时间序列预测任务.目前时间序列预测模型主要采用深度学习模型,但是风电时间序列具有较强的波动性和随机性,导致绝大部分模型不能较好挖掘风电时间序列的复杂演化特性.为解决上述问题,提出了一种基于渐进式分解架构的风电时间序列预测方法,该方法首先应用神经网络池化分解方法将复杂的依赖关系简化并应用注意力机制学习长期趋势,然后运用多变量融合捕捉模块增强了网络整体的多变量关联挖掘能力,最后,融合趋势项和周期项对风电时间序列做出准确的预测.实验结果表明,该方法在风电时间序列的多步预测中均方误差相比基线模型至高可提升24%,在多尺度预测长度下表现出预测性能稳定提升的同时,计算效率显著优于同类模型.

基于多模态融合的情绪识别

多模态情绪识别利用语音、文本、图像等多种数据形式,通过综合分析这些数据中的情绪信息来识别人类的情绪状态。相较于单一模态的情绪识别,这种方法能更全面地捕捉情绪的复杂性和微妙差异。为提高从特征提取到情绪分类的高效性,提出了一种端对端的网络结构,直接利用音频与视频数据进行特征提取和情绪识别,并通过实验比较了三种不同的特征融合方法。实验结果表明,改进中间注意力融合方法在RAVDESS测试集上取得了71.67%的最高平均准确率,显示出优于其他融合策略的性能。

基于Attention-BiLSTM混合模型的月尺度降水量预测

降水受到多种气象因素的影响,从而导致降水预测精度不高。针对这个问题,在考虑影响降水的多个气象因素基础上,通过Attention机制赋予各种气象因素不同的权重,结合双向长短期记忆神经网络(BiLSTM),提出了改进的Attention-BiLSTM混合模型去实现月尺度降水量的预测。以江西省南昌气象站为例,将1989—2018年的逐月降水量与逐月气象因素(气温、蒸发量、气压等)观测资料作为模型输入数据,通过Attention机制识别出各种气象因素的权重,从而提高BiLSTM模型对降水量的预测性能。结果表明:Attention-BiLSTM混合模型可有效地提高降水量预测的精度;通过Attention机制的修正,显著地改善了原有的BiLSTM模型降水量预测值偏低的问题。