基于双通道Transformer的地铁站台异物检测

Transformer因其全局注意力优势在异物检测上取得了比卷积神经网络(CNN)更具竞争力的结果,但依然面临计算成本高、输入图像块尺寸固定、局部与全局信息交互匮乏等问题。提出一种基于双通道Transformer骨干网络、金字塔轻量化Transformer块和通道交叉注意力机制的DualF ormer模型,用以检测地铁站台屏蔽门与列车门间隙中存在的异物。针对输入图像块尺寸固定的问题,提出双通道策略,通过设计2种不同的特征提取通道对不同尺度的输入图像块进行特征提取,增强网络对粗、细粒度特征的提取能力,提高对多尺度目标的识别精度;针对计算成本高的问题,构建金字塔轻量化Transformer块,将级联卷积引入到多头自注意力(MHSA)模块中,并利用卷积的维度压缩能力来降低模型的计算成本;针对局部与全局信息交互匮乏的问题,提出通道交叉注意力机制,利用提取到的粗细粒度特征在通道层面进行交互,优化局部与全局信息在网络中的权重。在标准化地铁异物检测数据集上的实验结果表明,DualFormer模型参数量为1.98×10^(7),实现了89.7%的精度和24帧/s的速度,优于对比的Transformer检测算法。

基于临界频带的交互性双支路单通道语音增强模型

针对目前主流的双支路单通道语音增强方法只关注全频带信息而忽略子频带信息这一问题,设计了一种基于人耳临界频带的交互性双支路模型。主要做法为,在复数谱支路上实施模拟人耳临界频带的划分方法对信号进行分频带处理,提取子带信息;在幅度补偿支路上直接对信号的全频带进行处理,提取全频带信息。复数谱支路负责初步恢复干净语音的幅度和相位,同时,该支路上学到的子带中间特征会被特定的模块传递给幅度补偿支路进行补偿;幅度补偿支路上的输出会对复数谱支路上输出的幅度做进一步的补偿,达到恢复干净语音频谱的目的。实验结果表明,提出的模型在恢复语音质量和可懂度方面优于其他先进的单通道语音增强模型。

基于双特征提取网络的车道线识别方法

为了提高复杂环境下网络的特征提取能力,提出一种双特征提取网络的车道线识别方法。首先搭建双特征提取网络,减少细节语义信息的丢失,强化模型面对复杂环境的识别能力。然后使用改进的空洞空间金字塔池化结构增大感受野,提取更为丰富的上下文信息,并结合深度可分离卷积,降低模型的计算量。最后构造通道注意力模块,重点关注有效信息较多的特征通道。经实验验证,所提方法在Tusimple数据集上准确率可达97.7%,mIoU为76.2%,单图识别时间为26.24 ms,在复杂环境下进行车道线识别时,鲁棒性较好。

结合金字塔Transformer与浅层CNN的变电站图像篡改检测

目的 变电站图像拼接篡改是电力系统的一大安全隐患,针对篡改图像背景复杂、篡改内容尺度不一造成的误检漏检问题以及相关研究较少,本文提出一种面向变电站的拼接篡改图像的双通道检测模型。方法 两通道均采用深度学习方法自适应提取篡改图像和残差图像的特征,其中篡改图像包含丰富的色彩特征和内容信息,残差图像重点凸显了篡改区域的边缘,有效应对了篡改图像多样性导致的篡改特征提取困难问题;将特征金字塔结构Transformer通道作为网络主分支,通过全局交互机制获取图像全局信息,建立关键点之间的联系,使模型具备良好的泛化性和多尺度特征处理能力;引入浅层卷积神经网络(convolutional neural network, CNN)通道作为辅助分支,着重提取篡改区域的边缘特征,使模型在整体轮廓上更容易定位篡改区域。结果 实验在自制变电站拼接篡改数据集(self-made substation splicing tampered dataset, SSSTD)、CASIA(Chinese Academy of Sciences Institute of Automation dataset)和NIST16(National Institute of Standards and Technology 16)上与4种同类型方法进行比较。定量上看,在SSSTD数据集中,本文模型相对性能第2的模型在精确率、召回率、F1和平均精度上分别提高了0.12%、2.17%、1.24%和7.71%;在CASIA和NIST16数据集中,本文模型也取得了最好成绩。定性上看,所提模型减少了误检和漏检,同时定位精度更高。结论 本文提出的双通道拼接篡改检测模型结合了Transformer和CNN在图像篡改检测方面的优势,提高了模型的检测精度,适用于复杂变电站场景下的篡改目标检测。

融合多注意力机制的脊椎图像分割方法

针对脊椎CT、MR图像分割模型分割性能不高的问题,基于U型网络提出了脊椎分割网络MAU-Net。首先引入坐标注意力模块,使网络准确捕获到空间位置信息,并嵌入到通道注意力中;然后提出基于Transformer的双支路通道交叉融合模块代替跳跃连接,进行多尺度特征融合;最后提出特征融合注意力模块,更好地融合Transformer与卷积解码器的语义差异。在脊柱侧凸CT数据集上,Dice达到0.929 6,IoU达到0.859 7。在公开MR数据集SpineSagT2Wdataset3上,与FCN相比,Dice提高14.46%。实验结果表明,MAU-Net能够有效减少椎骨误分割区域。

基于改进YOLOv7的输电线路绝缘子识别检测研究

针对绝缘子目标尺寸小导致检测精度低、误检漏检率高的问题,提出一种基于YOLOv7改进的输电线路绝缘子检测模型。首先,将双支路融合通道注意力机制与主干部分的ELAN模块进行融合,强调重要的通道信息,抑制噪声等无用信息的干扰;其次,在特征融合部分加入局部自注意力机制,使得局部微小区域局部关注度增强;同时,在Neck部分融入BiFPN跨层连接,在增加部分计算量的同时,使得边缘信息得到更好的保留,更利于小目标的检测;最后,以精确度、召回率、平均精度均值等作为评价指标,对采集的数据集进行了消融实验和对比实验。实验结果表明,改进后的网络模型对输电线路绝缘子检测精度为92.1%,相比于传统的YOLOv7网络模型提高3%,并且其平均检测均值、召回率分别提高3.1%、3.6%;同时,改进的模型在各个评估指标上相比YOLOv5-ECA和Faster-R-CNN等均有显著优势,针对输电线路绝缘子检测具有良好效果。

结合组像素嵌入的双注意力高光谱图像分类

近年来,基于深度学习的框架在高光谱图像分类领域中取得了令人满意的结果。然而,多数方法仍使用卷积神经网络作为主干网络,其存在感受野过小,对特征信息的挖掘不充分,序列建模的能力较弱,模型复杂和分类精度低等问题。为克服上述局限性,该文提出一种结合组像素嵌入的双注意力高光谱图像分类的方法。该方法主要分成三个部分,首先,使用含有点卷积组和深度卷积组的通道空间卷积分离模块来高效学习空间光谱的特征信息;其次,添加通道空间双注意力机制,抑制冗余信息的干扰,增强高光谱图像空间与光谱的特征权重;最后,通过组像素嵌入Transformer来进一步强化空间与光谱之间的联系,建立全局长距离依赖关系,缓解精度下降的问题,保证了网络良好的分类性能。实验结果表明,该方法与现有的网络模型相比具有更优越的性能,在Pavia University和WHU-Hi-LongKou两个数据集中的总体准确率分别达到99.26%和99.73%。