基于多帧一致性修正的自监督孪生网络目标跟踪方法

深度学习技术促使目标跟踪领域得到了飞速发展,但有限的标注数据限制了深度模型的高效训练.因此,自监督学习应用于目标跟踪领域来解决模型训练需要大量标注数据的问题.然而,现有基于自监督学习的跟踪器大多提取目标浅层信息,缺乏对目标关键特征的高效表达,且忽视了因目标遮挡等挑战导致的反向验证难度大的问题,致使跟踪精度下降.为解决上述问题,本文提出一种基于多帧一致性修正的自监督孪生网络跟踪方法,由前向多帧反序验证策略、混序修正模块和视觉特征增强模块三部分共同构成.首先,前向多帧反序验证策略从多条路径中自适应选择最优目标轨迹来构造循环一致性损失优化函数,面对目标遮挡、背景干扰、形变等挑战时能够合理规划路径.其次,针对多条路径对同一帧目标预测位置的不一致问题,提出混序修正模块来修正跟踪偏移,增强了前向跟踪时特征提取网络的鲁棒性.此外,视觉特征增强模块通过自适应加权融合目标的全局上下文信息与局部语义特征信息,增强了模型对目标自身特征的表达能力.最后,本文方法在OTB2013、OTB2015、TColor-128和VOT-2018四个公开数据集上进行了验证.实验结果表明:在光照、形变、背景干扰等复杂场景下,相比于现有21种主流跟踪算法,本文方法在四个数据集上的精确度平均提高了4.6%,比基于自/无监督学习的跟踪器平均提高了5.8%的精确度.

基于双专用注意力机制引导的循环生成对抗网络

现有基于循环生成对抗网络的图像生成方法通过引入独立通用的注意力模块,在无匹配图像转换任务中取得了较好的效果,但同时也增加了模型复杂度与训练时间,而且难以关注到图中关键区域的所有细节,图像生成效果仍有提升的空间。针对上述问题,提出一种基于双专用注意力机制引导的循环生成对抗网络(Dual-SAG-CycleGAN),分别对生成器和判别器采用不同的注意力机制进行引导。首先,提出一种名为SAG(Special Attention-mechanism Guided)的专用注意力模块来引导生成器工作,在提升生成图像质量的同时降低网络的复杂度;然后,对判别器采用基于CAM(Class Activation Mapping)的专用注意力机制引导模块,抑制生成器生成无关的噪声;最后,提出背景掩码的循环一致性损失函数,引导生成器生成更加精准的掩码图,更好地辅助图像转换。实验证明,本文方法与现有同类模型相比,网络模型参数量降低近32.8%,训练速度快34.5%,KID与FID最低分别可达1.13和57.54,拥有更高的成像质量。

结合多注意力机制的自监督目标跟踪

为解决现有目标跟踪数据集不足及手工标注数据成本过大的问题,提出结合判别式相关滤波及多注意力机制的自监督目标跟踪方法。训练集选用原始未标记的视频图像,使用子空间注意力机制及通道注意力机制针对不同的输入目标对特征进行自适应调整,构建相关滤波输出响应图进行跟踪定位;通过前向跟踪和后向跟踪两个跟踪过程,以自监督的训练方式用最终响应结果与初始标签构建循环一致性损失。在OTB50和OTB100两个公开数据集的实验结果表明了所提方法的实时性和有效性。

分离表示学习下的严重缺失静脉信息高质量生成

为解决在识别过程中存在手背静脉图像信息严重缺失而造成识别效率低下的问题,提出基于分离表示学习严重缺失手背静脉图像的修复算法.基于图像到图像转换的互信息估计表示学习的原理,通过一个共享属性部分编码网络和一个独占属性部分的编码网络来进行特征信息的分离表示,学习静脉关键点与完整静脉骨架图像之间的映射,进而实现基于部分关键点对静脉严重缺失图像的良好修复.为保证生成图像的质量,采用对抗损失与感知损失保证图像的语义真实性与信息完整性,采用循环一致性损失对分离表示网络得到的分离内容和属性表示的循环重建进行约束.实验结果表明,生成图像在视觉效果、峰值信噪比(Peak Signal to Noise Ratio,PSNR)、结构相似性(Structural Similarity Index,SSIM)等方面的表现优于经典算法,有效地实现了对严重缺失静脉图像的良好修复.

基于双重注意力机制的CycleGAN海岸线自动提取方法

将遥感图像进行像素级海陆分割是海岸线提取的一项基础性工作。由于海岸线的动态变化,获取精准的海岸线标记数据集比较困难,为此采用Google Aerial photo-Maps配对样本,在对Google Maps进行海陆二值化处理后构建了新的配对数据集。针对新数据集样本较少问题,在循环生成对抗网络(CycleGAN)模型的基础上,提出了基于双重注意力机制的DAM-CycleGAN。新模型全面考虑遥感图像和海陆二值化图像之间的结构相似性,改进了循环一致性损失,并设计通道注意力模块和空间注意力模块来凸显显著性特征和区域,以增强模型在小样本训练下的特征学习能力。在均方误差、平均像素精度和平均交并比(MIoU)三个评价指标上,与全卷积神经网络模型、DeepLab模型在多个规模数据集训练下的实验结果对比,改进模型转换的海陆二值化图像与真值图像更加吻合,MIoU值分别至少提高7%、6%以上,验证了所提方法的有效性和可行性。