跨模态交互融合与全局感知的RGB-D显著性目标检测

近年来,RGB-D显著性检测方法凭借深度图中丰富的几何结构和空间位置信息,取得了比RGB显著性检测模型更好的性能,受到学术界的高度关注.然而,现有的RGB-D检测模型仍面临着持续提升检测性能的需求.最近兴起的Transformer擅长建模全局信息,而卷积神经网络(CNN)擅长提取局部细节.因此,如何有效结合CNN和Transformer两者的优势,挖掘全局和局部信息,将有助于提升显著性目标检测的精度.为此,提出一种基于跨模态交互融合与全局感知的RGB-D显著性目标检测方法,通过将Transformer网络嵌入U-Net中,从而将全局注意力机制与局部卷积结合在一起,能够更好地对特征进行提取.首先借助U-Net编码-解码结构,高效地提取多层次互补特征并逐级解码生成显著特征图.然后,使用Transformer模块学习高级特征间的全局依赖关系增强特征表示,并针对输入采用渐进上采样融合策略以减少噪声信息的引入.其次,为了减轻低质量深度图带来的负面影响,设计一个跨模态交互融合模块以实现跨模态特征融合.最后,5个基准数据集上的实验结果表明,所提算法与其他最新的算法相比具有显著优势.

基于跨模态特征融合的RGB-D显著性目标检测

显著性目标检测(SOD)作为目前计算机视觉以及计算机图形学领域中研究的基本课题之一,是许多其他复杂任务的预处理阶段的任务,对例如图像理解与解释、视觉追踪、语义分割,视频分析等对象级应用的发展起到了极大的推动作用。随着深度传感器的普及,深度图像中蕴含的空间信息线索在显著性检测研究中提供了与RGB图像中蕴含的不同模态的辅助补充特征信息,这对于检测精度的提升来说愈发重要,因此如何有效地融合RGB与深度图像中的不同模态间的特征信息成为了RGB-D显著性目标检测课题中研究的重要问题。针对RGB与Depth模态间的特征融合问题,本文设计了一种基于跨模态特征信息融合的双流RGB-D显著目标检测网络模型,通过使用设计的跨模态特征融合模块去除某些低质量深度图带入的冗余与噪音,随后提取放大被优化改良过后的深度特征线索与RGB特征线索间的相似性与差异性,完成跨模态特征信息的有效融合。除此之外在网络编码结构的顶端增加了改良的非局部模块,通过自注意力机制更好地捕捉了的上下文信息以及像素间的长距离依赖。通过使用的两个数据集上的实验表明,这一模型在4个评价指标上取得了较好的表现。

基于多尺度特征解码网络的RGB显著性目标检测

近年来,基于深度学习的显著性目标检测(SOD)取得了很大进展。目前主流的基于深度学习方法的RGB显著性目标检测,忽略了编码器和解码器之间信息交换,以及不同层级编码器对最终预测图的贡献差异。本文设计了一种基于多尺度特征解码的RGB显著性目标检测网络,通过在编码和解码模块之间增加精炼过渡层和注意力机制,对编码器输出特征进行打磨,以还原更详细的显著性信息。此外,在网络的顶部增加感受野增强模块,以定位不同尺度信息,增强深层特征的全局语义信息,使预测结果更准确。在主流的6个数据集上的测试结果显示,本文的方法优于其他同类算法。

基于多层次特征细化融合的RGB-D显著性目标检测

显著性目标检测(SOD)是计算机视觉中用于检测、分割和分类不同尺度物体的一个基本课题。在基于RGB-D的显著性目标检测中的一个主要问题是如何有效地融合多层次特征。针对RGB-D显著性目标检测的多层次特征融合问题,通过设计一种以深层次特征为主逐步细化融合的双流网络模型,来完整并细致地检测出显著目标,其中使用Depth图像提供补充信息,以提高网络在复杂场景中的性能。在常用的5个数据集上的实验结果表明,这一模型在完整细致地检测出显著目标方面有优越的性能。