基于深度学习的正交异性钢桥面板疲劳裂纹智能识别方法研究

为提高正交异性钢桥面板疲劳裂纹的识别效果,基于深度学习方法,进行正交异性钢桥面板疲劳裂纹识别方法研究。制作疲劳裂纹试件,通过室内检测采集检测结果图像建立数据集,结合图像预处理改进数据集中图像;基于单一回归目标检测(You Only Look Once,YOLO)系列中的YOLOv5s图像识别算法,引入轻量级卷积注意力机制(Convolutional Block Attention Module,CBAM),建立疲劳裂纹超声相控阵检测图像的智能识别方法;将该方法应用于超声波相控阵检测结果判读。结果表明:结合限制性对比度直方图均衡(Contrast Limited Adaptive Histogram Equalization,CLAHE)算法与自适应中值滤波的图片预处理方法较为适合超声相控阵检测图像的图片预处理;通过引入CBAM改进图像识别算法,图像识别的精确度相较改进前提升1.28%,达到98.74%;建立的YOLOv5s-CBAM图像识别算法能够准确地框选疲劳裂纹区域,对四类常见疲劳裂纹类型的识别置信度达到0.91,对其它裂纹类型的识别置信度达到0.85,在室内环境下能够满足疲劳裂纹的智能检测需求。

基于图注意力神经网络的中文隐式情感分析

情感分析是自然语言处理领域的重要任务之一,情感分析任务包含显式情感分析和隐式情感分析。由于隐式情感不包含显式情感词语,情感表达更加委婉,所以面临更大的挑战。提出基于图注意力神经网络的隐式情感分析模型ISA-GACNN(Implicit Sentiment Analysis Based on Graph Attention Convolutional Neural Network),构建文本和词语的异构图谱,使用图卷积操作传播语义信息,使用注意力机制计算词语对文本情感表达的贡献程度。针对多头注意力保存重复信息问题,使用注意力正交约束使得不同注意力存储不同的情感信息;针对情感信息分布不均的情况,提出注意力分值约束使模型关注部分重要词语。在隐式情感分析评测数据集上验证模型效果,所提出模型的F值达到91.7%,远高于文献中的基准模型;对注意力机制进行分析,验证了正交约束和分值约束的有效性。

基于注意力机制和残差网络的OFDM系统信道估计

为解决正交频分复用(OFDM)系统中由噪声干扰引发的导频污染问题,设计一个基于深度学习的信道估计模型CE-SERNet。将导频位置处最小二乘信道估计值当作低分辨率带噪声图像,作为网络模型输入,利用注意力机制和残差网络进行去噪和恢复高分辨率图像,实现OFDM系统的信道估计。仿真结果表明,所提网络在低导频和高导频条件下都优于现有基于深度学习的方法,相比传统的LS算法和MMSE算法,在估计精度上有较大提升,在不同的信道场景下,拥有较强的鲁棒性能。

正交约束多头自注意力的场景文本识别

目的场景文本识别(scene text recognition,STR)是计算机视觉中的一个热门研究领域。最近,基于多头自注意力机制的视觉Transformer(vision Transformer,ViT)模型被提出用于STR,以实现精度、速度和计算负载的平衡。然而,没有机制可以保证不同的自注意力头确实捕捉到多样性的特征,这将导致使用多头自注意力机制的ViT模型在多样性极强的场景文本识别任务中表现不佳。针对这个问题,提出了一种新颖的正交约束来显式增强多个自注意力头之间的多样性,提高多头自注意力对不同子空间信息的捕获能力,在保证速度和计算效率的同时进一步提高网络的精度。方法首先提出了针对不同自注意力头上Q(query)、K(key)和V(value)特征的正交约束,这可以使不同的自注意力头能够关注到不同的查询子空间、键子空间、值子空间的特征,关注不同子空间的特征可以显式地使不同的自注意力头捕捉到更具差异的特征。还提出了针对不同自注意力头上Q、K和V特征线性变换权重的正交约束,这将为Q、K和V特征的学习提供正交权重空间的解决方案,并在网络训练中带来隐式正则化的效果。结果实验在7个数据集上与基准方法进行比较,在规则数据集Street View Text(SVT)上精度提高了0.5%;在不规则数据集CUTE80(CT)上精度提高了1.1%;在7个公共数据集上的整体精度提升了0.5%。结论提出的即插即用的正交约束能够提高多头自注意力机制在STR任务中的特征捕获能力,使ViT模型在STR任务上的识别精度得到提高。本文代码已公开:https://github.com/lexiaoyuan/XViTSTR。

方面级多模态协同注意图卷积情感分析模型

目的方面级多模态情感分析日益受到关注,其目的是预测多模态数据中所提及的特定方面的情感极性。然而目前的相关方法大都对方面词在上下文建模、模态间细粒度对齐的指向性作用考虑不够,限制了方面级多模态情感分析的性能。为了解决上述问题,提出一个方面级多模态协同注意图卷积情感分析模型(aspect-level multi⁃modal co-attention graph convolutional sentiment analysis model,AMCGC)来同时建模方面指向的模态内上下文语义关联和跨模态的细粒度对齐,以提升情感分析性能。方法AMCGC为了获得方面导向的模态内的局部语义相关性,利用正交约束的自注意力机制生成各个模态的语义图。然后,通过图卷积获得含有方面词的文本语义图表示和融入方面词的视觉语义图表示,并设计两个不同方向的门控局部跨模态交互机制递进地实现文本语义图表示和视觉语义图表示的细粒度跨模态关联互对齐,从而降低模态间的异构鸿沟。最后,设计方面掩码来选用各模态图表示中方面节点特征作为情感表征,并引入跨模态损失降低异质方面特征的差异。结果在两个多模态数据集上与9种方法进行对比,在Twitter-2015数据集中,相比于性能第2的模型,准确率提高了1.76%;在Twitter-2017数据集中,相比于性能第2的模型,准确率提高了1.19%。在消融实验部分则从正交约束、跨模态损失、交叉协同多模态融合分别进行评估,验证了AMCGC模型各部分的合理性。结论本文提出的AMCGC模型能更好地捕捉模态内的局部语义相关性和模态之间的细粒度对齐,提升方面级多模态情感分析的准确性。