一种新的基于通道-空间融合注意力及SwinT的细粒度图像分类算法

细粒度图像分类是计算机视觉领域的一大分类任务,其难点在于如何通过类别监督信息自主地找到判别性区域.提出一种新的通道-空间融合注意力模块,基于该模块设计了一种新的Swin Transformer算法SwinT⁃NCSA(a Swin Transformer based on a novel channel⁃spatial attention module),分别从通道维和空间维同时提取特征,再将其融入到Swin Transformer模型中以提高其小尺度中多头注意力信息的提取能力.SwinT⁃NCSA算法特别关注了对分类有用的区域,同时忽视对分类无用的背景区域,以此在细粒度图像分类任务中达到较高的分类准确率.在FGVC Aircraft飞机数据集、CUB-200-2011鸟类数据集和Stanford Cars车类数据集3个公共数据集上的实验表明,SwinT⁃NCSA算法可以分别取得93.3%、88.4%和94.7%的准确率,优于同类算法.

基于多尺度注意力导向网络的单目图像深度估计

针对现有基于深度学习的单目图像深度估计算法存在的空间分辨率低和边缘模糊等问题,提出了一种基于多尺度注意力导向网络的单目图像深度估计算法。首先设计了一个端到端的编码器-解码器模型,编码器以多个尺度进行特征提取。为了保证更好的深度连续性,解码器结合残差学习以及通道注意力融合,对提取的多尺度特征逐步优化细节以及场景结构。考虑到多次下采样会导致深度图细节的丢失,设计了边界增强模块,通过引入空间注意力,提升不同物体的类间对比度以增强图像的边界细节。最后,优化模块融合来自解码器和边界增强模块的多尺度特征,生成深度图像。实验结果表明,与当前主流的算法相比,文中算法生成的深度图像质量得到了提高,表现出了更细致的物体轮廓信息,在客观指标和主观效果上均有良好的表现。

基于多模态融合的人脸反欺骗算法研究

人脸反欺骗技术可以准确判断捕获的人脸图像是真实人脸还是虚假人脸,是人脸识别系统安全的重要保障。传统的人脸反欺骗方法主要是利用手工设计的特征,如LBP、HoG、SIFT、SURF和DoG来刻画真实人脸和虚假人脸之间的不同特征分布,但人工设计的特征难以适应无约束环境下(如光照、背景的变化)的人脸反欺骗问题。鉴于此,该文提出一种多模态融合卷积神经网络模型,通过融合不同模态上的人脸特征来实现鲁棒的人脸反欺骗。首先根据通道注意力网络设计了多模态共享分支网络来实现特征提取过程中不同模态间的信息交互,然后在通道注意力融合网络的基础上提出了多模态通道注意力融合网络来融合不同模态的特征,最后利用融合后的多模态特征进行分类。在CASIA-SURF数据集上的大量实验结果表明,与主流的多模态人脸反欺骗方法(multi-scale fusion)相比,该方法在APCER和ACER指标上分别降低了1.1%和0.4%,充分证明该方法可以有效融合不同模态的特征,提高模型的鲁棒性。

基于改进YOLOv7的输电线路绝缘子识别检测研究

针对绝缘子目标尺寸小导致检测精度低、误检漏检率高的问题,提出一种基于YOLOv7改进的输电线路绝缘子检测模型。首先,将双支路融合通道注意力机制与主干部分的ELAN模块进行融合,强调重要的通道信息,抑制噪声等无用信息的干扰;其次,在特征融合部分加入局部自注意力机制,使得局部微小区域局部关注度增强;同时,在Neck部分融入BiFPN跨层连接,在增加部分计算量的同时,使得边缘信息得到更好的保留,更利于小目标的检测;最后,以精确度、召回率、平均精度均值等作为评价指标,对采集的数据集进行了消融实验和对比实验。实验结果表明,改进后的网络模型对输电线路绝缘子检测精度为92.1%,相比于传统的YOLOv7网络模型提高3%,并且其平均检测均值、召回率分别提高3.1%、3.6%;同时,改进的模型在各个评估指标上相比YOLOv5-ECA和Faster-R-CNN等均有显著优势,针对输电线路绝缘子检测具有良好效果。

基于SAT-GCN的花样滑冰选手动作检测算法研究

针对花样滑冰运动人体运动轨迹复杂、动作类型多样、普通人肉眼难以区分且常规的行为识别方法识别准确率低的问题,提出了一种基于时空图卷积网络与多通道注意力机制融合方法 (SAT-GCN)的花样滑冰动作识别算法。该算法首先将视频提取成连续的单独帧,使用OpenPose算法提取人体骨骼关键点数据,降低背景噪声干扰;然后使用时空图卷积算法对骨骼关键点数据进行动作分类。算法对时空图卷积算法进行改进,加入了多通道时空注意力机制融合模块,使得模型更加关注重要的关键点、时间帧片段、特征;使用时序卷积网络(TCN)提取人体骨架关键点在时间序列上的特征;使用SoftMax对提取后的特征进行动作分类。在花样滑冰数据集FSD-10和公开的人类行为数据集Kinetics-Skeleton上进行训练和测试,与改进前的时空图卷积网络(ST-GCN)进行对比,本文所提算法的预测准确率在2个数据集上均有所提升,验证了多通道注意力机制融合方法在花样滑冰选手动作检测任务中的有效性。

基于高斯密度图的自然场景中文文字检测

自然场景下中文文字检测任务字符面积较小且文字背景复杂,为此,该文提出了一种基于高斯密度图作为分割区域标签的文字检测改进方法。将文本区域标注从矩形框改变为高斯分布区域标签,在特征融合部分引入了交叉通道融合注意力机制,以提高网络的收敛性能,提出像素值一维投影法解决了文字密集区域输出的高斯密度图在不同标签区域出现重叠的问题。经过实验验证,该文方法对中文文字检测有较好的结果,证明了该方法的有效性。