基于RGB-D视觉信息融合的带式输送机煤流量检测方法研究

在煤矿中,精确测量带式输送机煤流量对于煤矿生产和管理至关重要。为了进一步提高通过机器视觉方式检测带式输送机煤流量的精度,提出一种基于RGB-D视觉信息融合的煤流量检测方法,使用RGB-D相机采集煤流信息后,利用RGB图像对深度图像从不同尺度进行增强,运用K-means聚类算法,结合RGB图像对预分割的煤料区域深度图像进一步分割,基于微元法建立煤堆体积计算模型计算煤流量。实验结果表明,该方法的平均检测误差为1.57%,平均耗时263.77 ms,满足实际生产要求,为带式输送机煤流量检测提出了一种新的有效途径。

跨模态交互融合与全局感知的RGB-D显著性目标检测

近年来,RGB-D显著性检测方法凭借深度图中丰富的几何结构和空间位置信息,取得了比RGB显著性检测模型更好的性能,受到学术界的高度关注.然而,现有的RGB-D检测模型仍面临着持续提升检测性能的需求.最近兴起的Transformer擅长建模全局信息,而卷积神经网络(CNN)擅长提取局部细节.因此,如何有效结合CNN和Transformer两者的优势,挖掘全局和局部信息,将有助于提升显著性目标检测的精度.为此,提出一种基于跨模态交互融合与全局感知的RGB-D显著性目标检测方法,通过将Transformer网络嵌入U-Net中,从而将全局注意力机制与局部卷积结合在一起,能够更好地对特征进行提取.首先借助U-Net编码-解码结构,高效地提取多层次互补特征并逐级解码生成显著特征图.然后,使用Transformer模块学习高级特征间的全局依赖关系增强特征表示,并针对输入采用渐进上采样融合策略以减少噪声信息的引入.其次,为了减轻低质量深度图带来的负面影响,设计一个跨模态交互融合模块以实现跨模态特征融合.最后,5个基准数据集上的实验结果表明,所提算法与其他最新的算法相比具有显著优势.

基于特征调节器和双路径引导的RGB-D室内语义分割

针对室内场景图像语义分割结果不精确、显著图粗糙的问题,提出一种基于多模态特征优化提取和双路径引导解码的网络架构(feature regulator and dual-path guidance,FG-Net)。具体来说,设计的特征调节器对每个阶段的多模态特征依次进行噪声过滤、重加权表示、差异性互补和交互融合,通过强化RGB和深度特征聚合,优化特征提取过程中的多模态特征表示。然后,在解码阶段引入特征交互融合后丰富的跨模态线索,进一步发挥多模态特征的优势。结合双路径协同引导结构,在解码阶段融合多尺度、多层次的特征信息,从而输出更细致的显著图。实验在公开数据集NYUD-v2和SUN RGB-D上进行,在主要评价指标mIoU上达到48.5%,优于其他先进算法。结果表明,该算法实现了更精细的室内场景图像语义分割,表现出了较好的泛化性和鲁棒性。

基于跨模态特征融合的RGB-D显著性目标检测

RGB-D显著性目标检测因其有效性和易于捕捉深度线索而受到越来越多的关注。现有的工作通常侧重于通过各种融合策略学习共享表示,少有方法明确考虑如何维持RGB和深度的模态特征。提出了一种跨模态特征融合网络,该网络维持RGB-D显著目标检测的RGB和深度的模态,通过探索共享信息以及RGB和深度模态的特性来提高显著检测性能。具体来说,采用RGB模态、深度模态网络和一个共享学习网络来生成RGB和深度模态显著性预测图以及共享显著性预测图。提出了一种跨模态特征融合模块,用于融合共享学习网络中的跨模态特征,然后将这些特征传播到下一层以整合跨层次信息。此外,提出了一种多模态特征聚合模块,将每个单独解码器的模态特定特征整合到共享解码器中,这可以提供丰富的互补多模态信息来提高显著性检测性能。最后,使用跳转连接来组合编码器和解码器层之间的分层特征。通过在4个基准数据集上与7种先进方法进行的实验表明,方法优于其他最先进的方法。

基于互学习和促进分割的RGB-D显著性目标检测

RGB-D显著性目标检测主要通过融合RGB图像和深度图(Depth)从给定场景中分割最显著的对象.由于受到原始深度图固有噪声的影响,会导致模型在检测过程中拟入错误的信息.为了改善检测效果,该文提出了一种基于互学习和促进分割的RGB-D显著性目标检测模型,设计一个深度优化模块来获取深度图和预测深度图之间最优的深度信息;引入特征对齐模块和跨模态集成模块完成跨模态的融合;针对分割造成的精度损失问题,构建了一个基于多源特征集成机制的分离重构解码器.在5个公开数据集上进行了实验测试,实验结果表明:所提模型与其他模型相比,准确率更高,网络更加稳定.

轻量化改进XYZNet的RGB-D特征提取网络

针对用于位姿估计的RGB-D特征提取网络规模过于庞大的问题,提出一种轻量化改进XYZNet的RGB-D特征提取网络。首先设计一种轻量级子网络BaseNet以替换XYZNet中的ResNet18,使得网络规模显著下降的同时获得更强大的性能;然后基于深度可分离卷积设计一种多尺度卷积注意力子模块Rep-MSCA(re-parameterized multi-scale convolutional attention),加强BaseNet提取不同尺度上下文信息的能力,并约束模型的参数量;最后,为了以较小的参数代价提升XYZNet中PointNet的几何特征提取能力,设计一种残差多层感知器模块Rep-ResP(re-parameterized residual multi-layer perceptron)。改进后的网络浮点计算量与参数量分别降低了60.8%和64.8%,推理速度加快了21.2%,在主流数据集LineMOD与YCB-Video上分别取得了0.5%与0.6%的精度提升。改进后的网络更适宜在硬件资源紧张的场景下部署。

基于多模态特征交互的RGB-D显著性目标检测

现有的大多数RGB-D显著性目标检测方法利用深度图来提高检测效果,而忽视了其质量的影响。低质量的深度图会对最终显著目标预测结果造成污染,影响显著性检测的性能。为了消除低质量深度图带来的干扰,并准确突出RGB图像中的显著目标,提出了一个用于多模态特征交互的RGB-D显著性目标检测模型。在编码阶段,设计了一个特征交互模块,其包含三个子模块:用于增强特征表述能力的全局特征采集子模块、用于过滤低质量深度信息的深度特征精炼子模块和用于实现特征融合的多模态特征交互子模块。在解码阶段,逐层融合经过特征交互后的多模态特征,实现多层次特征融合。通过在五个基准数据集上与十二种先进方法进行的综合实验表明,该模型在NLPR、SIP和NJU2K数据集上的指标上均优于其他对比方法,其中在NJU2K数据集上,该模型的性能比第二名在平均F值上提升了0.008,加权F值上提升了0.014,E-measure上提升了0.007,表现出了较好的检测效果。

面向RGB-D语义分割的多模态任意旋转自监督学习

基于RGB-D数据的自监督学习受到广泛关注,然而大多数方法侧重全局级别的表示学习,会丢失对识别对象至关重要的局部细节信息.由于RGB-D数据中图像和深度具有几何一致性,因此这可以作为线索来指导RGB-D数据的自监督特征表示学习.在本文中,我们提出了ArbRot,它可以无限制地旋转角度并为代理任务生成多个伪标签用于自监督学习,而且还建立了全局和局部之间的上下文联系.本文所提出的ArbRot可以与其他对比学习方法联合训练,构建多模态多代理任务自监督学习框架,以增强图像和深度视图的特征表示一致性,从而为RGB-D语义分割任务提供有效的初始化.在SUN RGB-D和NYU Depth Dataset V2数据集上的实验结果表明,多模态任意旋转自监督学习得到的特征表示质量均高于基线模型.开源代码:https://github.com/Physu/ArbRot.

激光雷达与RGB-D相机融合的SLAM建图

对二维激光雷达与RGB-D相机联合标定,采用改进的ORB-SLAM2算法实现稠密的点云地图、八叉树地图、栅格地图的构建。提出了一种将Cartographer算法与改进的ORB-SLAM2算法融合建图的改进算法。实验结果表明,相比传统的ORB-SLAM2算法,改进的融合算法在建图过程中障碍物的识别率达到了96.8%,绝对位姿误差减小了53.2%,提高了建图的精确性和鲁棒性。

基于融合采样策略的轻量级RGB-D场景3D目标检测

针对室内RGB-D场景中3D目标检测对复杂背景的适应性较差、难以进行有效采样,以及场景推断时间较长等问题,本文提出一种基于融合采样策略的轻量级RGB-D场景3D目标检测方法。该方法以场景RGB-D数据作为输入,首先通过深度相机投影将其转化为三维点云场景;然后利用一种结合距离最远点采样和特征最远点采样的融合采样策略对场景点云进行采样,有效保留了场景各实例代表点,将所有特征代表点汇集在一起形成场景的特征代表点云;最后在代表点云中利用深度霍夫投票机制投票出场景各物体的中心,并对各物体周围的相关特征进行聚类,从而实现场景的3D目标检测。实验结果表明,与传统方法相比,所提框架的目标检测准确率得到有效提升,同一评估指标下的检测准确率平均提升2.1%,且同一环境下每个场景的推断速度仅需要57 ms,远快于传统方法2倍多,从而保证了室内场景3D目标检测的准确性和高效性。

基于RGB-D相机的黄瓜苗3D表型高通量测量系统研究

传统的人工种苗表型测量方式存在效率低、主观性强、误差大、破坏种苗等问题,提出了一种使用RGB-D相机的黄瓜苗表型无损测量方法。研制了自动化多视角图像采集平台,布署两台Azure Kinect相机同时拍摄俯视和侧视两个视角的彩色、深度、红外和RGB-D对齐图像。使用Mask R-CNN网络分割近红外图像中的叶片和茎秆,再与对齐图进行掩膜,消除了对齐图中的背景噪声与重影并得到叶片和茎秆器官的对齐图像。网络实例分割结果的类别和数量即为子叶和真叶的数量。使用CycleGAN网络处理单个叶片的对齐图,对缺失部分进行修补并转换为3D点云,再对点云进行滤波实现保边去噪,最后对点云进行三角化测量叶面积。在Mask R-CNN分割得到的茎秆对齐图像中,利用茎秆的近似矩形特征,分别计算茎秆的长和宽,再结合深度信息转换为下胚轴长和茎粗。使用YOLO v5s检测对齐图中的黄瓜苗生长点,利用生长点与基质的高度差计算株高。实验结果表明,该系统具有很好的通量和精度,对子叶时期、1叶1心时期和2叶1心时期的黄瓜苗关键表型测量平均绝对误差均不高于8.59%、R2不低于0.83,可以很好地替代人工测量方式,为品种选育、栽培管理、生长建模等研究提供关键基础数据。

基于点面特征融合的RGB-D SLAM算法

传统的视觉SLAM算法主要依赖于点特征来构建视觉里程计,而在人造环境中通常存在一些点特征不足但结构特征丰富的场景,此时基于点特征的视觉里程计方法容易出现跟踪失败或位姿估计精度降低的问题。提出一种融合点面特征的RGB-D SLAM算法,利用人造环境中的平面特征提高SLAM算法定位与建图的精度与鲁棒性。使用AGAST特征点提取算法并采用四叉树的方式进行改进,使特征点在图像中均匀分布以减少点特征提取的冗余度。同时,在传统点特征方法的基础上添加平面特征,使用连通域分割算法从点云中获取平面特征,并构建伪平面特征,结合AGAST特征点构建点面特征融合的结构约束因子图,添加多重约束关系用于图优化。实验结果表明,该算法AGAST特征点提取效率优于ORB-SLAM2算法,融合的点面特征使其在室内环境下的定位和建图精度更高,绝对轨迹误差减小约20%,相对轨迹误差减小约10%,单帧跟踪耗时减少约7.3%。

RGB-D双模态信息互补的语义分割网络

为了充分融合RGB和深度信息以进一步提高语义分割精度,引入注意力机制实现了RGB与深度2个模态特征的互补融合.基于编码器-解码器框架,提出了RGB-D双模态信息互补的语义分割网络,编码器采用双分支结构分别提取RGB图像和深度图像的特征,解码器采用逐层跳跃连接的结构渐进地融合不同粒度的语义信息实现逐像素语义分类.编码器对2个分支学习到的低层特征,利用RGB-D信息互补模块进行互补融合.RGB-D信息互补模块包括Depth-guided Attention Module(Depth-AM)和RGB-guided Attention Module(RGB-AM)2种注意力.其中,Depth-AM将深度信息补充给RGB特征,解决由于光照变化引起的RGB特征不准确问题;RGB-AM将RGB信息补充给深度特征,解决由于缺乏物体的纹理信息而导致的深度特征不准确问题.在采用相同结构backbone的条件下,RGB-D双模态信息互补的语义分割网络与RDF-Net相比,在SUNRGB-D数据集上的平均交并比,像素精度和平均精度分别提升1.8%,0.5%和0.7%;在NYUv2数据集上的平均交并比,像素精度和平均精度分别提升1.8%,1.3%和1.9%.

基于RGB-D图像的航空托运行李测量方法

针对机场托运行李码垛自动化流程中行李形位测量精度不高的问题,提出了一种基于RGB-D图像的航空托运行李形位测量方法。首先利用相机内参从RGB-D图像中解析出行李的图像和点云数据,通过聚类和透视变换等手段提取出行李主体的三维点云和二维图像数据;然后根据提取所得行李图像和点云数据对行李旋转角度进行测量,并以包围盒包围质量为依据,选择最优旋转角度进行行李尺寸测量。实验结果表明,综合利用RGB-D中的行李图像和点云信息对行李进行形位测量能有效提升测量精度,与单纯使用点云进行测量相比,行李尺寸测量平均误差下降了21.11%,行李位置测量平均误差下降了11.80%,旋转角度测量平均误差下降了6.09%,实现了航空托运行李的高精度测量,满足了行李码垛自动化流程对行李测量环节的要求。

RGB-D双模态特征融合语义分割

针对复杂室内场景中,现有RGB图像语义分割网络易受颜色、光照等因素影响以及RGB-D图像语义分割网络难以有效融合双模态特征等问题,提出一种基于注意力机制的RGB-D双模态特征融合语义分割网络AMBFNet(attention mechanism bimodal fusion network)。该网络采用编-解码器结构,首先搭建双模态特征融合结构(AMBF)来合理分配编码支路各阶段特征的位置与通道信息,然后设计双注意感知的上下文(DA-context)模块以合并上下文信息,最后通过解码器将多尺度特征图进行跨层融合,以减少预测结果中类间误识别和小尺度目标丢失问题。在SUN RGB-DNYU和NYU Depth v2(NYUDV2)两个公开数据集上的测试结果表明,相较于残差编解码(RedNet)、注意力互补网络(ACNet)、高效场景分析网络(ESANet)等目前较先进的RGB-D语义分割网络,在同等硬件条件下,该网络具有更好的分割性能,平均交并比(MIoU)分别达到了47.9%和50.0%。

深度学习时代下的RGB-D显著性目标检测研究进展

受人类的视觉注意力机制启发,显著性目标检测任务旨在定位给定场景中最吸引人注意的目标或区域.近年来,随着深度相机的发展和普及,深度图像已经被成功应用于各类计算机视觉任务,这也为显著性目标检测技术提供了新思路.通过引入深度图像,不仅能使计算机更加全面地模拟人类视觉系统,而且深度图像所提供的结构、位置等补充信息也可以为低对比度、复杂背景等困难场景的检测提供新的解决方案.鉴于深度学习时代下RGB-D显著目标检测任务发展迅速,旨在从该任务关键问题的解决方案出发,对现有相关研究成果进行归纳、总结和梳理,并在常用RGB-DSOD数据集上进行不同方法的定量分析和定性比较.最后,对该领域面临的挑战及未来的发展趋势进行总结与展望.

一种融合二维激光雷达和RGB-D相机的移动机器人建图方法研究

针对单独使用二维激光雷达描述环境信息不足、单独使用RGB-D相机构建地图精度不足以及三维激光雷达使用成本高的问题,提出一种使用低成本二维激光雷达和RGB-D相机点云信息融合的方法。首先,通过Autoware联合标定的方式获取相机的内部参数和外部参数,建立激光雷达数据和相机数据的变换关系。然后,基于体素网格滤波的方式降低相机原始数据的噪声和密度,并将滤波后的数据进行投影转换成伪激光雷达数据。最后,通过将转换后激光雷达数据与相机的伪激光雷达数据叠加的方式,实现两传感器信息融合。实验结果表明,有效弥补了移动机器人搭载单一传感器地图构建精度不足和获取环境信息描述不足的问题,提高了移动机器人建图的可靠性和完整性,为机器人有效导航提供保障。

基于脸部RGB-D图像的牛只个体识别方法

为实现非接触、高精度个体识别,本文提出了一种基于牛只脸部RGB-D信息融合的个体身份识别方法。以108头28~30月龄荷斯坦奶牛作为研究对象,利用Intel RealSense D455深度相机采集2334幅牛脸彩色/深度图像作为原始数据集。首先,采用冗余图像剔除方法和自适应阈值背景分离算法进行图像预处理,经增强共得到8344幅牛脸图像作为数据集;然后,分别选取Inception ResNet v1、Inception ResNet v2和SqueezeNet共3种特征提取网络进行奶牛脸部特征提取研究,通过对比分析,确定FaceNet模型的最优主干特征提取网络;最后,将提取的牛脸图像特征L2正则化,并映射至同一特征空间,训练分类器实现奶牛个体分类。测试结果表明,采用Inception ResNet v2作为FaceNet模型的主干网络特征提取效果最优,在经过背景分离数据预处理的数据集上测试牛脸识别准确率为98.6%,验证率为81.9%,误识率为0.10%。与Inception ResNet v1、SqueezeNet网络相比,准确率分别提高1、2.9个百分点;与未进行背景分离的数据集相比,准确率提高2.3个百分点。

基于RGB-D图像的葡萄复芽识别定位方法

为解决复杂背景下复芽精确识别与定位的问题,该研究提出一种基于远近组合视觉法的并生芽与副芽视觉识别方法,通过在视觉映射平面应用欧几里得距离算法,于远景实现并生芽的检测,在近景并生芽映射区域内实现副芽的识别,提高了田间小目标物体的识别准确率。对60个复芽样本的测试结果表明,该方法的总体平均置信度为0.905,平均检测时间为18.1 ms;其次,提出一种田间复芽的在线检测定位法,通过对同一复芽进行连续5帧在线检测与定位,实时删除和更新初始帧与最新帧图像数据,直到连续5帧定位坐标相对误差小于误差阈值,取得复芽的平均定位坐标,提高自然背景下复芽的定位精度与复杂光环境下的抗干扰能力,测试结果表明,该方法对并生芽与副芽的定位精度为±0.916和±0.654 mm,其重复性和精度满足副芽抹除需求,整个系统可靠有效,能够为抹芽机器人在线定位并生芽和副芽以进行抹芽作业提供高质量的技术支持,为果园自动化抹芽的实现奠定了基础。

基于交叉细化和循环注意力的RGB-D显著性目标检测

针对显著性目标检测区域边界模糊以及检测区域不精确不完整的问题,提出了基于交叉细化和循环注意力的RGB-D显著性目标检测方法。在利用编码器提取特征的阶段设计了交叉细化模块,用于补充对方的特征信息,改善了融合前的特征质量,抑制了质量较差的深度图带来的消极影响,解决了显著性目标边缘模糊的问题。针对融合后的特征,提出联合注意力机制与卷积长短期记忆网络单元的循环模块以模拟大脑的内部生成机制,通过检索过往的记忆帮助推断当前的决策,从而获得需要长期记忆的语义场景,可以全面学习融合特征的内部语义关系,生成检测区域更完整,更准确的显著性图。在6个公开数据集上进行的实验表明,所提的方法可以得到边缘清晰且准确度更高的显著图。