基于增强多头注意力机制的Optuna-BiGRU测井岩性识别

测井岩性识别是油气勘探开发中至关重要的内容。针对现有算法模型在处理测井曲线数据时,无法有效捕获曲线内部深层关联和深度方向关系、拟合能力较弱、难以准确提取关键特征、噪声干扰以及模型超参数调优过程复杂困难等问题,提出了一种通过Optuna超参数优化双向门循环单元(Optuna-BiGRU)结合增强多头注意力机制(EMHA)的测井岩性识别模型——Optuna-BiGRU-EMHA模型。该模型引入残差机制和层归一化以改进多头注意力机制模块,并结合双向门循环单元(BiGRU)解决了处理测井数据时的问题,同时使用Optuna超参数优化框架和小波包自适应阈值方法分别解决了超参数调优和噪声干扰问题。首先通过交会图分析和敏感性箱线图分析选取自然伽马、深感应电阻率、中子-密度孔隙度、平均中子-密度孔隙度和岩性密度5个特征参数的测井数据,通过小波包自适应阈值方法对数据进行去噪,并将测井数据分割成数据块,然后利用Optuna框架优化BiGRU-EMHA模型超参数,最后通过实验对比K-近邻算法(KNN)、随机森林(RF)、极端梯度提升算法(XGBoost)、长短期记忆(LSTM)神经网络、BiGRU、双向长短期记忆(BiLSTM)神经网络、BiGRU-MHA、Optuna-BiGRU-EMHA等8种模型在测井岩性识别中的精度。结果表明:Optuna-BiGRU-EMHA模型识别准确率达到80%,相对于传统机器学习模型和深度学习模型,综合岩性识别准确率分别提高15.94%~23.14%和3.93%~15.94%,该模型为常规测井岩性识别提供了坚实的理论支持。

融合预训练和注意力增强的中文自动摘要研究

通过对源文本信息压缩来提炼文本核心内容。目前,大多数生成式自动摘要任务采用基于注意力机制的序列到序列模型,但该模型解码预测生成的摘要具有语义准确率低且内容重复率高的问题。针对上述问题,提出了一种融合预训练和注意力增强的自动摘要生成方法来提高生成摘要的质量。该模型以带覆盖机制的指针生成网络(pointer generator network,PGN)模型为基础,利用Transformer模型的编码器预训练文本获得具有语义联系的词向量;在序列到序列模型的解码器中,通过注意力增强机制让解码端的当前时刻注意力分布参考历史时刻注意力分布信息;优化束搜索算法抑制解码端输出短句。实验评价指标采用ROUGE值。在公共中文数据集NLPCC2018和LCSTS上的实验结果表明,与伴随覆盖机制的PGN模型训练结果相比,ROUGE-1、ROUGE-2和ROUGE-L指标均得到了提高,验证了所提方法的先进性和有效性。

基于注意力机制的全景分割网络

针对全景分割的背景类实例重叠问题,提出了一种基于注意力机制的全景分割网络(Attention-guided Panoptic Segmentation Network,APSNet)。APSNet基于UPSNet网络进行改进.首先,在残差网络和特征金字塔之间添加一种可以同时在空间注意力和通道注意力上建模的三重态注意力机制,通过学习通道和空间特征信息,增强特征金字塔的特征提取能力;其次,在语义分割部分中,添加一种语义增强注意力机制,通过聚合多层次特征和学习空间特征信息,提升语义分割对于背景和前景的分割效果.对比实验表明,APSNet的全景质量提升了0.8%,实例级全景质量提升了2.7%,同时可以在一定程度上降低全景融合时实例分割与语义分割所发生背景类实例重叠的概率.

基于改进RepVGG和增强时空注意力机制的红外车辆目标检测算法

针对复杂场景下传统红外车辆目标检测算法精度不佳、计算量大等问题,提出基于改进RepVGG(Re-parameterization Visual Geometry Group)和增强时空注意力机制(Enhanced Spatial Temporal Attention Mechanism,ESTAM)的红外车辆目标检测算法。以YOLOv8n(You Only Look Once v8 nano)模型为基础,在骨干网络和颈部网络引入C2fRepVGG(CSP Bottleneck with 2 Re-parameterization Visual Geometry Group)模块,保证检测精度且减少模型参数量。在骨干网络尾部添加增强时空注意力机制模块,优化红外车辆目标特征表达。使用Wise-IOU损失函数(Wise-IOU Loss)代替CIOU损失函数(Complete IOU Loss),减少训练过程中模型对于低质量锚框产生的有害梯度。实验结果表明,提出的算法在红外车辆数据集中检测精度和计算复杂度相较于其他算法均具有比较优势,该模型的平均检测精度达到94.4%,参数量为2.85×10^(6),浮点计算量为7.4×10^(9),能够对复杂场景下的红外车辆目标实现高精度检测。

基于改进的Transformer_decoder的增强图像描述

Transformer的解码器(Transformer_decoder)模型已被广泛应用于图像描述任务中,其中自注意力机制(Self Attention)通过捕获细粒度的特征来实现更深层次的图像理解。本文对Self Attention机制进行2方面改进,包括视觉增强注意力机制(Vision-Boosted Attention,VBA)和相对位置注意力机制(Relative-Position Attention,RPA)。视觉增强注意力机制为Transformer_decoder添加VBA层,将视觉特征作为辅助信息引入Self Attention模型中,指导解码器模型生成与图像内容更匹配的描述语义。相对位置注意力机制在Self Attention的基础上,引入可训练的相对位置参数,为输入序列添加词与词之间的相对位置关系。基于COCO2014进行实验,结果表明VBA和RPA这2种注意力机制对图像描述任务都有一定改进,且2种注意力机制相结合的解码器模型有更好的语义表述效果。

基于改进AdvancedEAST的变电站仪表数显区域检测

为了提高数字仪表数显区域检测的实时性和鲁棒性,提出一种改进AdvancedEAST算法,以快速、准确地完成变电站数字仪表数显区域检测。首先,在AdvancedEAST模型框架下,构建一种注意力机制增强的轻量级主干网络ES-MobilenetV3,通过考虑不同层提取特征对结果的影响,引入ECA和多维注意力机制(ECA-SE)对MobileNetv3的Bneck块进行改进,在保持性能和复杂性平衡的前提下,突出关键特征。在颈部网络中引入深度可分离卷积,降低网络计算的复杂度,提高检测速度。同时,使用迁移学习策略,提高小样本下模型的泛化能力。最后,在构建的变电站数字仪表数据集上进行试验验证,结果表明,所提算法在保证检测精度的情况下,模型的参数量相比AdvancedEAST算法减少82%,检测速度提升近2倍。

基于改进I-Attention U-Net的锌浮选泡沫图像分割算法

针对泡沫图像的高度复杂性导致其难以被准确分割的难题,本文提出了一种新的I-Attention U-Net网络用于泡沫图像分割.该算法以U-Net网络作为主干网络,使用Inception模块替换第一卷积池化层来提取泡沫图像的多尺度、多层次浅层特征信息;引入金字塔池化模块,通过对不同尺度的特征图求和来提升分割效果;并对自注意力门控单元进行改进,使注意力单元更适合于浮选泡沫图像的分割,强化深层特征的重要性并对不同尺寸的泡沫边界进行强化学习.研究结果表明:本文所提出算法的Jaccard系数为91.73%,Dice系数为95.66%.与同类其他分割算法结果相比,Jaccard系数及Dice系数分别提高了1.59%、0.88%.该模型能够较好地对锌浮选泡沫图像进行分割,解决欠分割与过分割的问题,为后续的泡沫特征提取奠定基础.此外,该方法检测时间和模型参数少,具备可以部署在工业现场计算机的能力,有一定的实际应用价值.

同尺度和跨尺度增强的U-Net用于视网膜血管分割

视网膜血管的自动分割技术有助于早期诊断和治疗与视网膜相关的疾病。由于视网膜血管结构复杂且精细,眼底图像存在着低对比度、光照不均以及病理性渗出物等因素的干扰,导致该任务仍然具有挑战性。针对该任务主流框架U-Net中未考虑全局语义依赖关系以及编码器和解码器之间的语义鸿沟问题,提出了一种同尺度和跨尺度增强的U-Net模型。从两个角度对该模型进行设计:对于同一尺度的编码-解码层,一种空间增强的自注意力机制被嵌入到每个编码层中以增强模型的全局空间聚合能力,并进一步将其拓展到解码端来缓解解码过程中上采样操作带来的信息丢失等问题;对于不同尺度的编码-解码层,引入了一种新颖的跨尺度融合模块,通过动态地选择最深层中丰富的特征信息来增强与其它层之间的语义交互,从而进一步弥合编码器和解码器之间的语义鸿沟。在DRIVE、CHASE_DB1和STARE三个视网膜标准数据集上进行了实验验证,实验结果表明I2A-Net能有效地分割出视网膜血管结构,相比与基线模型,在各项评价指标上均取得了较高的提升。