面向遥感图像检索的级联池化自注意力研究

高分辨率遥感图像检索中,由于图像内容复杂,细节信息丰富,以致通过卷积神经网络提取的特征难以有效表达图像的显著信息。针对该问题,提出一种基于级联池化的自注意力模块,用来提高卷积神经网络的特征表达。首先,设计了级联池化自注意力模块,自注意力在建立语义依赖关系的基础上,可以学习图像关键的显著特征,级联池化是在小区域最大池化的基础上再进行均值池化,将其用于自注意力模块,能够在关注图像显著信息的同时保留图像重要的细节信息,进而增强特征的判别能力。然后,将级联池化自注意力模块嵌入到卷积神经网络中,进行特征的优化和提取。最后,为了进一步提高检索效率,采用监督核哈希对提取的特征进行降维,并将得到的低维哈希码用于遥感图像检索。在UC Merced、AID和NWPU-RESISC45数据集上的实验结果表明,本文方法能够有效提高检索性能。

基于多尺度池化和范数注意力机制的遥感图像检索

遥感图像内容丰富,一般的深度模型提取遥感图像特征时容易受复杂背景干扰,对关键特征的提取效果不佳,并且难以表达图像的空间信息,该文提出一种基于多尺度池化和范数注意力机制的深度卷积神经网络,在通道层面与空间层面自适应地给显著特征加权。首先,在多尺度池化通道注意力模块中,结合空间金字塔池化的思想,对每个通道上的特征图进行不同尺度的最大池化。接着,采用自适应均值池化将尺寸不同的特征图转换为统一尺寸,以便通过逐像素相加的方式来关注不同尺度的显著特征。然后,在范数空间注意力模块中,将各通道对应同一空间位置的像素构成向量,通过计算向量组的L1范数和L2范数,获得具有空间信息的特征图。最后,采用级联池化的方法优化高层特征,并将该高层特征用于遥感图像检索。在UC Merced,AID与NWPU-RESISC453个数据集上进行实验,结果表明该文所提注意力模型,关注了不同尺度的显著特征,结合了空间信息,提高了检索性能。

融合非均匀采样与特征强化的人体不文明行为检测方法

针对人体异常行为时空动作检测对相似行为存在误检及局部肢体行为检测精度较低的问题,基于自制的不文明行为时空动作检测数据集(UBSAD),提出了一种融合非均匀采样与特征强化的人体不文明行为检测方法。该方法在时空特征提取阶段引入Video Swin Transformer(VST)作为主干网络,用于捕获视频中的长期时序依赖关系,提升网络全局信息学习能力;将提出的环形残差VST模块替换主干网络最后阶段的VST模块,放大目标区域和背景区域的差异,并结合多头自注意力机制,强化对目标区域的特征提取;在视频帧采集阶段提出了独特的非均匀采样方法,根据任务需求调整输入数据分布,使模型有层次地获取动作变化信息,有效提升网络对相似行为细节特征的关注;在特征提取网络之后嵌入新的融合浅层特征的级联池化三维空间金字塔特征强化模块,进一步增强多种尺度下的特征适用性,有效减少动作细节信息在特征提取过程中的丢失和降低背景信息的干扰,实现特征强化的效果。实验结果表明,该方法在UBSAD数据集和公开数据集UCF101-24上mAP指标分别达到了71.93%和83.09%,比使用基线网络VST作为时空特征提取模型分别提高了7.39个百分点和1.22个百分点,能够有效检测目标的行为。

基于改进DeepLabv3+的遥感影像道路提取算法

道路提取可以帮助人们更好地理解城市环境,是城市交通和城市规划等方面的重要部分,随着深度学习与计算机视觉的发展,利用基于深度学习的语义分割算法从遥感影像中提取道路的技术趋于成熟。针对现有的深度学习道路提取算法存在的提取速度慢和容易受背景环境因素干扰而产生漏分割、不连续等问题,提出了一种基于ECANet注意力机制和级联空洞空间金字塔池化模块的轻量化算法CE-DeepLabv3+。首先,将主干特征提取网络更换为轻量级的MobileNetv2,减少参数量,提高模型的执行速度;其次,通过增加空洞空间金字塔池化模块的卷积层进一步扩大感受野,再级联不同特征层来增强语义信息的复用性,从而加强对细节特征的提取能力;再次,加入ECANet注意力机制,抑制背景环境中的干扰因素,聚焦道路信息;最后,采用改进的损失函数进行训练,消除了道路与背景样本不均衡对模型性能产生的影响。实验结果表明,改进算法的性能优良,与原始DeepLabv3+算法相比,在分割效率、分割精度上有较大的提升。

CornerNet-Ghost:基于Hourglass-Ghost的轻量型目标检测模型

针对目前工业上目标检测任务较多,却限于设备原因无法流畅运行常规大型目标检测网络,对轻量型目标检测网络需求较大的问题,提出一种新型的轻量化目标检测模型:CornerNet-Ghost。采用特征提取网络Hourglass-Ghost作为骨干网络,对待测物体的左上和右下角点进行检测,并搭配级联角点池化优化提取的角点位置。实验结果表明,CornerNet-Ghost性能超过现有主流的轻量级角点检测网络CornerNet-Squeeze,且在检测计算时间远少于大型网络的条件下达到相近的准确性。