基于深度质量感知和分层特征引导的RGB⁃D显著性检测

现有基于融合的RGB-D显著性物体检测方法在对跨模态特征进行融合时忽视了RGB和深度图两模态特征的差异性,跨模态特征融合不均衡的问题使得模型不能充分利用跨模态互补特征,而低质量深度图也会对模型性能带来损害。提出一种基于深度质量感知和分层特征引导的RGB-D显著性物体检测算法。算法分为两个阶段:深度质量感知阶段和分层特征引导阶段。在第一阶段,利用深度质量感知从现有的主流RGB-D显著性物体检测训练数据集中挖掘高质量深度图,对训练集进行增强,提升低质量深度图的质量,减少噪声数据对模型性能的损害;在第二阶段,利用特征引导网络对RGB图和深度图进行分层自适应权重动态融合,在有效增加融合效率的同时增强跨模态融合的感知能力。在基准数据集NJUD、NLPR、SSD、STEREO和SIP上的实验结果表明,相比于SSF、CDNet、D3Net、DASNet等方法,该算法能够大幅提升深度图质量,其中在NLPR数据集上F-Measure值为0.934,MAE仅为0.020,综合性能优于其他相关SOTA方法,证明了先挖掘高质量深度图再进行跨模态自适应动态融合算法的有效性。

基于RGB-D图像的物体识别方法

物体识别是机器视觉研究的主要内容之一,融合物体深度特征的RGB-D图像为物体识别精度的提高提供了新的解决途径。为系统总结其近年产生的诸多成果,首先综述了基于RGB-D图像的物体识别研究,讨论了结合深度图像的RGB-D图像应用于物体识别的优势;其次,从公开的RGB-D数据库样本特征分析出发,归纳和分析了早期的基于先验知识的手工特征识别方法和目前的基于特征学习的RGB-D物体识别,并详细论述了RGB-D数据的多模态融合方法;最后,基于华盛顿RGB-D object dataset对20余种模型与编码组合方式的识别结果进行了系统的对比和分析,并对RGB-D物体识别的趋势及未来研究方向进行了展望。

基于RGB-D图像特征的人体行为识别

针对现有的多模态特征融合方法不能有效度量不同特征的贡献度的问题,文中提出基于RGB-深度(RGB-D)图像特征的人体动作识别方法.首先获取基于RGB模态信息的方向梯度直方图特征、基于深度图像模态信息的时空兴趣点特征和基于关节模态信息的人体关节点位置特征,分别表征人体动作.采用不同距离度量公式的最近邻分类器对这3种不同模态特征表示的预测样本进行集成决策分类.在公开数据集上的实验表明,文中方法具有简单、快速,高效的特点.

基于注意力交互的可见光红外跟踪算法

在可见光红外跟踪(RGB and Thermal Infrared Tracking,RGB-T)的研究中,为了在常规跟踪算法的基础上实现两个模态的有效融合,基于注意力机制提出了一种基于注意力交互的RGB-T跟踪算法。该算法引入注意力机制对可见光和红外两种模态的图像特征进行增强和融合,设计了自特征增强编码器对单一模态的特征进行增强,设计了互特征解码器对两个模态增强后的特征进行交互融合。编码器和解码器均采用两层注意力模块。为了减小算法模型的复杂度,对传统注意力模块进行简化,将全连接层改为1×1卷积。此外,该算法对多个卷积层的特征均进行分层融合,以充分挖掘各层卷积特征中的细节和语义信息。在GTOT,RGBT234和LasHeR三个数据集上进行对比测试。实验结果表明,所提算法性能优异,特别是在RGBT234和LasHeR这两个大规模数据集上取得了最优的跟踪结果,验证了注意力机制在RGB-T跟踪中的有效性。

显著中心先验和显著-深度概率矫正的RGB-D显著目标检测

随着深度特征在图像显著检测领域中发挥越来越重要的作用,传统的RGB图像显著检测模型由于未能充分利用深度信息已经不能适用于RGB-D图像的显著检测。该文提出显著中心先验和显著-深度(S-D)概率矫正的RGB-D显著检测模型,使得深度特征和RGB特征间相互指导,相互补充。首先,依据3维空间权重和深度先验获取深度图像初步显著图;其次,采用特征融合的流形排序算法获取RGB图像的初步显著图。接着,计算基于深度的显著中心先验,并以该先验作为显著权重进一步提升RGB图像的显著检测结果,获取RGB图像最终显著图;再次,计算显著-深度矫正概率,并对深度图的初步显著检测结果使用此概率进行矫正。接着,计算基于RGB的显著中心先验,并以该先验作为显著权重进一步提升深度图像矫正后的显著检测结果,获取深度图像的最终显著图;最后,采用优化框架对深度图像最终显著图进行优化得到RGB-D图像最终的显著图。所有的对比实验都是在公开的数据集NLPR RGBD-1000数据集上进行,实验结果显示该文算法较当前流行的算法有更好的性能。

基于优化的极限学习机和深度层次的RGB-D显著检测

目前,相当多的显著目标检测方法均聚焦于2D的图像上,而RGB-D图像所需要的显著检测方法与单纯的2D图像相去甚远,这就需要新的适用于RGB-D的显著检测方法。该文在经典的RGB显著检测方法,即极限学习机的应用的基础上,提出融合了特征提取、前景增强、深度层次检测等多种思路的新的RGB-D显著性检测方法。该文的方法是:第一,运用特征提取的方法,提取RGB图4个超像素尺度的4096维特征;第二,依据特征提取中产生的4个尺度的超像素数量,分别提取RGB图的RGB,LAB,LBP特征以及深度图的LBE特征;第三,根据LBE和暗通道特征两种特征求出粗显著图,并在4个尺度的遍历中不断强化前景、削弱背景;第四,根据粗显著图选取前景与背景种子,放入极限学习机中进行分类,得到第1阶段显著图;第五,运用深度层次检测、图割等方法对第1阶段显著图进行再次优化,得到第2阶段显著图,即最终显著图。

基于RGB-D的室内场景实时三维重建算法

针对基于视觉的室内场景三维重建过程中存在三维点云匹配不准确、过程耗时和深度信息部分缺失的问题,提出一种带有深度约束和局部近邻约束的基于RGB-D的室内场景实时三维重建算法.该算法首先利用RGB-D相机采集到的RGB图像做哈里斯角点检测,再用SURF特征点描述方法对检测到的特征点生成64维特征描述子.接着利用特征点集合的深度信息和局部近邻特征点信息作为约束,初步筛选出相邻帧间正确的匹配点对,再结合随机抽样一致性(RANSAC)算法去除外点,以此得到相机的姿态估计.最后利用RGB-D的深度图像,在图优化方法(g2o)的基础上生成三维点云,实现室内场景的三维重建.实验中,RGB-D摄像头装载在自主移动导航的小车上,实时重构的三维场景验证了所提算法的可行性和准确性.

基于RGB特征与深度特征融合的物体识别算法

RGB图像和深度图像的同时使用能有效提高物体识别的准确率。然而,已有研究仅将RGB图像和深度图像的特征进行简单的线性连接,没有根据RGB特征和深度特征的差异性进行特征提取和融合,充分发挥RGB-D图像的优势。为此,提出一种多模态稀疏自编码算法,在进行差异性特征提取的同时完成RGB特征和深度特征的有效融合。结合多模态稀疏自编码算法和空间金字塔最大池化算法,给出一个全新的深度学习模型。该模型能够提取有辨别力的特征并完成基于RGB-D图像的物体识别工作。在2个标准的RGB-D数据库上的实验结果表明,与基于RGB-D的物体识别算法相比,该算法能够有效融合RGB特征和深度特征,取得更高的识别准确率。

基于特征融合的RGBT双模态孪生跟踪网络

热红外成像技术被广泛地应用于军事、遥感和安防等领域中的目标跟踪,但热红外图像对对比度较低、目标模糊等跟踪场景效果一般。因此,将热红外图像与可见光图像进行融合提高跟踪性能具有重要意义。与基于可见光或热红外图像的单模态跟踪算法相比,基于可见光/热红外(RGB/Thermal,RGBT)图像的双模态跟踪算法对光照变化、云雾遮挡具有更强的鲁棒性。提出了一种基于特征融合的RGBT双模态孪生跟踪网络架构。该网络将双模态图像中提取的深度特征进行融合,提高目标外观特征的判别力。该网络可以利用训练数据进行端到端的离线训练。公开数据集RGBT234上的实验结果表明,所提出的RGBT双模态孪生特征融合跟踪网络能够实现复杂场景下鲁棒持续的目标跟踪。

基于深度图像的列车乘客目标识别技术研究

针对轨道交通中高密度客流的特点,提出了一种基于深度图像的局部法向量特征提取方法,利用球面坐标系参数(,)表示物体表面切平面法向量的特征信息,通过提取检测区域的局部法向量作为目标特征,以实现目标识别及头部轮廓提取。采用深度图像能有效地解决轨道车辆高度及光照等环境因素的局限性,并通过试验验证该方法的实时性和准确性。

基于随机丛林的人体部件分类方法

人体部件分类是人体姿态跟踪中的重要前提和关键步骤。传统深度梯度特征下的随机森林分类方法虽然可以达到实时性的要求,但仍存在准确度不高、对噪声不够鲁棒、内存消耗过大等缺点。为此,提出传统深度特征与RGB边缘特征相融合的一种新的分类方法,并在特征维度加大的情况下引入随机丛林模型。实验结果表明,该特征分类方法不仅可以减少20%左右的运行时间,还可以提高1%左右的测试准确率。

室内场景的布局估计与目标区域提取算法

现有的目标提取方法在应用于复杂的室内场景图像时,容易出现小尺寸物体与平面区域中物体被忽视,以及因遮挡造成大物体提取错误等问题。为此,提出一种针对室内RGB-D场景的无监督布局估计与目标区域提取算法。利用3D点云进行平面分割与分类以完成布局估计,采用2种图像分割方法对RGB-D图像做过分割处理,并利用4种相似度衡量方式进行层次分组。在此基础上,根据布局估计的结果,对不同类别的区域采取不同的边界框匹配策略。实验结果表明,该方法无需预训练即可改善目标区域提取效果,在产生较少目标候选区的情况下提高边界框召回率,加快计算速度。

动态环境下基于线特征的RGB-D视觉里程计

基于RGB-D的视觉SLAM(同时定位与建图)算法基本都假设环境是静态的,然而在实际环境中经常会出现动态物体,导致SLAM算法性能的下降.为此,本文提出一种基于线特征的RGB-D视觉里程计方法,通过计算直线特征的静态权重来剔除动态直线特征,并根据剩余的直线特征估计相机位姿.本文方法既可以减小动态物体的影响,又能避免点特征过少而导致的跟踪失效.公共数据集实验结果表明,与现有的基于ORB(orientedFAST and rotated BRIEF)点特征的方法相比,本文方法减小了动态环境下的跟踪误差约30%,提高了视觉里程计在动态环境下的精度和鲁棒性.

特征融合与S-D概率矫正的RGB-D显著检测

目的许多先前的显著目标检测工作都是集中在2D的图像上,并不能适用于RGB-D图像的显著性检测。本文同时提取颜色特征以及深度特征,提出了一种基于特征融合和S-D概率矫正的RGB-D显著性检测方法,使得颜色特征和深度特征相互补充。方法首先,以RGB图像的4个边界为背景询问节点,使用特征融合的Manifold Ranking输出RGB图像的显著图;其次,依据RGB图像的显著图和深度特征计算S-D矫正概率;再次,计算深度图的显著图并依据S-D矫正概率对该显著图进行S-D概率矫正;最后,对矫正后的显著图提取前景询问节点再次使用特征融合的Manifold Ranking方法进行显著优化,得到最终的显著图。结果利用本文RGB-D显著性检测方法对RGBD数据集上的1 000幅图像进行了显著性检测,并与6种不同的方法进行对比,本文方法的显著性检测结果更接近人工标定结果。Precision-Recall曲线(PR曲线)显示在相同召回率下本文方法的准确率较其中5种方法高,且处理单幅图像的时间为2.150 s,与其他算法相比也有一定优势。结论本文方法能较准确地对RGB-D图像进行显著性检测。

RGB-D语义分割:深度信息的选择使用

目的 在室内场景语义分割任务中,深度信息会在一定程度上提高分割精度。但是如何更有效地利用深度信息仍是一个开放性问题。当前方法大都引入全部深度信息,然而将全部深度信息和视觉特征组合在一起可能对模型产生干扰,原因是仅依靠视觉特征网络模型就能区分的不同物体,在引入深度信息后可能产生错误判断。此外,卷积核固有的几何结构限制了卷积神经网络的建模能力,可变形卷积(deformable convolution, DC)在一定程度上缓解了这个问题。但是可变形卷积中产生位置偏移的视觉特征空间深度信息相对不足,限制了进一步发展。基于上述问题,本文提出一种深度信息引导的特征提取(depth guided feature extraction, DFE)模块。方法 深度信息引导的特征提取模块包括深度信息引导的特征选择模块(depth guided feature selection, DFS)和深度信息嵌入的可变形卷积模块(depth embedded deformable convolution, DDC)。DFS可以筛选出关键的深度信息,自适应地调整深度信息引入视觉特征的比例,在网络模型需要时将深度信息嵌入视觉特征。DDC在额外深度信息的引入下,增强了可变形卷积的特征提取能力,可以根据物体形状提取更相关的特征。结果 为了验证方法的有效性,在NYUv2(New York University Depth Dataset V2)数据集上进行一系列消融实验并与当前最好的方法进行比较,使用平均交并比(mean intersection over union, mIoU)和平均像素准确率(pixel accuracy, PA)作为度量标准。结果显示,在NYUv2数据集上,本文方法的mIoU和PA分别为51.9%和77.6%,实现了较好的分割效果。结论 本文提出的深度信息引导的特征提取模块,可以自适应地调整深度信息嵌入视觉特征的程度,更加合理地利用深度信息,且在深度信息的作用下提高可变形卷积的特征提取能力。此外,本文提出的深度信息引导的特征提取模块可以比较方便地嵌入当下流行的特征提取网络中,提高网络的建模能力。

基于协作表示残差融合的3维人脸识别

目的针对2维人脸难以克服光照、表情、姿态等复杂问题,提出了一种基于协作表示残差融合的新算法。方法协作表示分类算法是将所有类的训练图像一起协作构成字典,通过正则化最小二乘法代替1范数求解稀疏系数,减小了计算的复杂度,由此系数重构测试人脸,根据重构误差最小原则,对测试人脸正确分类。该方法首先在3维人脸深度图上提取Gabor特征和Geodesic特征,然后在协作表示算法的基础上融合两者的残差信息,作为最终差异性度量,最后根据融合残差最小原则,进行人脸识别。结果在不同的训练样本、特征维数条件下,在CIS和Texas 2个人脸数据库上,本文算法的识别率可分别达到94.545%和99.286%。与Gabor-CRC算法相比,本文算法的识别率平均高出了10%左右。结论在实时成像系统采集的人脸库和Texas 3维人脸库上的实验结果表明,该方法对有无姿态、表情、遮挡等变化问题具有较好的鲁棒性和有效性。