用于RGBT跟踪的孪生混合信息融合算法

可见光与热红外跟踪(又称RGBT(RGB-Thermal)跟踪)的核心是有效地利用不同模态的信息,针对决策级融合中单分支产生低质结果影响算法判定目标的问题,提出一个用于RGBT跟踪的孪生混合信息融合算法SiamMIF。首先,使用孪生主干网络(SBN)进行多模态特征提取;其次,从信噪比的角度分析低质图像对双分支并行决策产生的影响,进而设计了一个信噪比驱动的信息交互模块(IIM)对低信噪比特征进行信息互补;再次,利用双流无锚跟踪头(ADH)对补偿后的特征进行分类回归;最后,采用自适应轻量决策模块(ALDM)对跟踪结果进行融合,并快速判定目标位置。在4个RGBT基准数据集GTOT、RGBT234、VOT-RGBT2019和LasHeR上的实验结果表明,所提算法在LasHeR数据集上的成功率和精确度分别为0.396和0.518,相较于APFNet(Attribute-based Progressive Fusion Network)提升9.4%和3.6%,在其他3个数据集上也能取得较好结果,且在GPU上的帧率能达到40 frame/s。

基于多尺度模态融合的RGB-T目标跟踪网络

可见光-热红外(RGB-T)目标跟踪因受光照条件限制较小受到关注。针对不同尺度特征的分辨率与语义信息存在差异、可见光与热红外两种模态信息不一致的特点,以及现有网络在多模态融合策略上的不足,提出一种RGB-T目标跟踪网络。网络采用孪生结构,首先将主干特征提取网络输出的模板图像特征与搜索图像特征从单尺度拓展到多尺度,并对可见光与热红外模态在不同尺度上分别进行模态融合,然后将得到的融合特征通过注意力机制增强特征表示,最后通过区域建议网络得到预测结果。在GTOT与RGBT-234两个公开RGB-T数据集上的实验结果表明,该网络跟踪精度和成功率较高,可以应对复杂的跟踪场景,相比于其他网络具有更高的跟踪性能。

基于多模态双向信息增强的RGBT跟踪网络

可见光-热红外(RGBT)目标跟踪旨在挖掘可见光和热红外数据的互补优势,实现鲁棒的目标跟踪。目前主流方法通常引入模态权重来实现多模态信息融合,但简单地为各个模态分配权重无法充分挖掘可见光和热红外模态的互补优势。基于此,提出了一种多模态双向信息增强的RGBT跟踪网络(MBIENet)。设计了一种特征聚合模块,用于聚合模态共享特征和模态特定特征以建模目标外观信息;提出了一种新的多模态双向调制融合模块,可有效融合模态互补信息,减少冗余特征和无用特征对跟踪器的影响;提出了一个轻量化的通道空间注意力模块,可自适应调整不同环境下不同模态的贡献。在GTOT、RGBT234和LasHeR数据集上的实验结果表明:所提跟踪算法的准确率和成功率优于当前主流的跟踪算法。

基于多模态RGB-T的显著性目标检测算法

针对RGB(Red Green Blue)模态与热度模态信息表征形式不一致,特征信息无法有效挖掘、融合问题,提出了一种新的联合注意力强化网络-FCNet(Feature Sharpening and Cross-modal Feature Fusion Net)。首先,通过双维度注意力机制提升图像特征映射能力;然后,利用跨模态特征融合机制捕获目标区域;最后,利用逐层解码结构消除背景干扰,优化检测目标。实验结果表明,该优化改进算法运算参数更少、运算时间更短,且模型整体检测性能均优于现有多模态检测模型性能。

基于RGB-D视觉信息融合的带式输送机煤流量检测方法研究

在煤矿中,精确测量带式输送机煤流量对于煤矿生产和管理至关重要。为了进一步提高通过机器视觉方式检测带式输送机煤流量的精度,提出一种基于RGB-D视觉信息融合的煤流量检测方法,使用RGB-D相机采集煤流信息后,利用RGB图像对深度图像从不同尺度进行增强,运用K-means聚类算法,结合RGB图像对预分割的煤料区域深度图像进一步分割,基于微元法建立煤堆体积计算模型计算煤流量。实验结果表明,该方法的平均检测误差为1.57%,平均耗时263.77 ms,满足实际生产要求,为带式输送机煤流量检测提出了一种新的有效途径。

基于多模态特征交互的RGB-D显著性目标检测

现有的大多数RGB-D显著性目标检测方法利用深度图来提高检测效果,而忽视了其质量的影响。低质量的深度图会对最终显著目标预测结果造成污染,影响显著性检测的性能。为了消除低质量深度图带来的干扰,并准确突出RGB图像中的显著目标,提出了一个用于多模态特征交互的RGB-D显著性目标检测模型。在编码阶段,设计了一个特征交互模块,其包含三个子模块:用于增强特征表述能力的全局特征采集子模块、用于过滤低质量深度信息的深度特征精炼子模块和用于实现特征融合的多模态特征交互子模块。在解码阶段,逐层融合经过特征交互后的多模态特征,实现多层次特征融合。通过在五个基准数据集上与十二种先进方法进行的综合实验表明,该模型在NLPR、SIP和NJU2K数据集上的指标上均优于其他对比方法,其中在NJU2K数据集上,该模型的性能比第二名在平均F值上提升了0.008,加权F值上提升了0.014,E-measure上提升了0.007,表现出了较好的检测效果。

基于跨模态特征融合的RGB-D显著性目标检测

RGB-D显著性目标检测因其有效性和易于捕捉深度线索而受到越来越多的关注。现有的工作通常侧重于通过各种融合策略学习共享表示,少有方法明确考虑如何维持RGB和深度的模态特征。提出了一种跨模态特征融合网络,该网络维持RGB-D显著目标检测的RGB和深度的模态,通过探索共享信息以及RGB和深度模态的特性来提高显著检测性能。具体来说,采用RGB模态、深度模态网络和一个共享学习网络来生成RGB和深度模态显著性预测图以及共享显著性预测图。提出了一种跨模态特征融合模块,用于融合共享学习网络中的跨模态特征,然后将这些特征传播到下一层以整合跨层次信息。此外,提出了一种多模态特征聚合模块,将每个单独解码器的模态特定特征整合到共享解码器中,这可以提供丰富的互补多模态信息来提高显著性检测性能。最后,使用跳转连接来组合编码器和解码器层之间的分层特征。通过在4个基准数据集上与7种先进方法进行的实验表明,方法优于其他最先进的方法。

改进YOLOv5的轻量化RGB-IR融合小目标检测

针对RGB-IR图像中的目标检测问题,文章提出一种基于YOLOv5的轻量化RGB-IR融合小目标检测算法。该算法首先使用单应性变换对齐RGB与IR图像,并拼接为四通道张量输入检测网络,以实现联合特征提取。其次,使用SE注意力机制分配特征通道权重,以实现特征级融合,减少特征矛盾并提高检测的鲁棒性,并进一步改进网络连接,使用浅层特征以增强小目标检测准确性。最后,使用Ghost卷积替代传统卷积,以降低计算量与参数量。实验结果表明,该融合检测算法在小目标数据集上验证改进结果明显,并实现嵌入式部署验证,在2TOPS算力NPU上实现30fps帧率的实时检测。

激光雷达与RGB-D相机融合的SLAM建图

对二维激光雷达与RGB-D相机联合标定,采用改进的ORB-SLAM2算法实现稠密的点云地图、八叉树地图、栅格地图的构建。提出了一种将Cartographer算法与改进的ORB-SLAM2算法融合建图的改进算法。实验结果表明,相比传统的ORB-SLAM2算法,改进的融合算法在建图过程中障碍物的识别率达到了96.8%,绝对位姿误差减小了53.2%,提高了建图的精确性和鲁棒性。

面向室内弱纹理场景多特征融合RGB-D SLAM方法

针对室内弱纹理场景下特征点数量不足导致即时定位与建图(SLAM)系统跟踪丢失和重建精度差的问题,提出了一种顾及约束退化的多特征融合RGB-D SLAM算法。为了充分利用线和平面特征对位姿估计的约束,分别建立了线和平面误差方程,并通过对海森矩阵进行特征值分解,定量分析了线和平面特征位姿约束的退化情况,建立了顾及约束退化的多特征融合目标优化函数。此外,基于曼哈顿世界假设,建立了曼哈顿坐标系,充分利用曼哈顿世界假设的优势,对旋转矩阵的“零漂移”进行估计,以提供准确的初始值支持平面匹配和位姿优化。实验结果表明,引入线和面特征建立光束法方程后,所提出的方法在弱纹理数据集ICL-NUIM上的轨迹精度相较于基准的ORB-SLAM2平均提升了37.5%,有效改善了SLAM系统在弱纹理场景中的轨迹精度。

基于CNN特征的RGB-T目标跟踪算法

针对单一图像源下目标跟踪鲁棒性差和跟踪精度低的问题,论文提出一种基于卷积神经网络(CNN)特征的RGB-T目标鲁棒性跟踪算法。首先,采用分层CNN特征对RGB图像和热红外图像进行编码。其次,基于SiamDW跟踪框架对目标进行跟踪。然后根据短时间内的跟踪结果对每个CNN特征的结果进行自适应融合并定位。最后,将RGB图像和热红外图像的结果进行融合并定位。实验表明,与现有的孪生跟踪算法相比,该算法在中心位置偏差和重叠率上表现更优,且在复杂情况下鲁棒性更好。

基于X-ray和RGB图像融合的实蝇侵染柑橘无损检测

实蝇侵染柑橘流入市场会造成巨大的经济损失,因此需要在商品化处理阶段对其全面筛除。针对柑橘在实蝇侵染早期没有明显外部特征,人工抽样检测效率低、筛除难的问题,探索了在生产线上同时搭载农业X光机与RGB相机进行无损检测的可行性,提出了基于X-ray(X光)和RGB图像的多模态数据融合方法,建立了CNN-LSTM检测模型,实现了实蝇侵染柑橘高精度无损检测。模拟了柑橘在生产线上滚动并被拍摄6幅X-ray和RGB序列图像的过程,构建了实蝇侵染柑橘的多源数据集,融合了不同模态的实蝇侵染特征信息,提升了实蝇侵染柑橘检测模型的检测能力,并对比了ResNet18-LSTM、GoogleNet-LSTM、SqueezeNet-LSTM、MobileNetV2-LSTM轻量化检测模型,验证了多模态数据融合方法的有效性。研究结果表明,提出的多模态数据融合实蝇侵染柑橘方法比单模态检测方法检测性能更加优异,其中ResNet18-LSTM检测准确率最高,多模态的图像融合和特征融合方法检测准确率分别达到97.3%和95.7%,单模态X-ray和RGB检测方法准确率分别为93.2%和89.3%。本研究可为实蝇侵染柑橘在线无损检测技术与装备的研究提供理论支撑。

基于点面特征融合的RGB-D SLAM算法

传统的视觉SLAM算法主要依赖于点特征来构建视觉里程计,而在人造环境中通常存在一些点特征不足但结构特征丰富的场景,此时基于点特征的视觉里程计方法容易出现跟踪失败或位姿估计精度降低的问题。提出一种融合点面特征的RGB-D SLAM算法,利用人造环境中的平面特征提高SLAM算法定位与建图的精度与鲁棒性。使用AGAST特征点提取算法并采用四叉树的方式进行改进,使特征点在图像中均匀分布以减少点特征提取的冗余度。同时,在传统点特征方法的基础上添加平面特征,使用连通域分割算法从点云中获取平面特征,并构建伪平面特征,结合AGAST特征点构建点面特征融合的结构约束因子图,添加多重约束关系用于图优化。实验结果表明,该算法AGAST特征点提取效率优于ORB-SLAM2算法,融合的点面特征使其在室内环境下的定位和建图精度更高,绝对轨迹误差减小约20%,相对轨迹误差减小约10%,单帧跟踪耗时减少约7.3%。

RGB-D双模态特征融合语义分割

针对复杂室内场景中,现有RGB图像语义分割网络易受颜色、光照等因素影响以及RGB-D图像语义分割网络难以有效融合双模态特征等问题,提出一种基于注意力机制的RGB-D双模态特征融合语义分割网络AMBFNet(attention mechanism bimodal fusion network)。该网络采用编-解码器结构,首先搭建双模态特征融合结构(AMBF)来合理分配编码支路各阶段特征的位置与通道信息,然后设计双注意感知的上下文(DA-context)模块以合并上下文信息,最后通过解码器将多尺度特征图进行跨层融合,以减少预测结果中类间误识别和小尺度目标丢失问题。在SUN RGB-DNYU和NYU Depth v2(NYUDV2)两个公开数据集上的测试结果表明,相较于残差编解码(RedNet)、注意力互补网络(ACNet)、高效场景分析网络(ESANet)等目前较先进的RGB-D语义分割网络,在同等硬件条件下,该网络具有更好的分割性能,平均交并比(MIoU)分别达到了47.9%和50.0%。

PLVO:基于平面和直线融合的RGB-D视觉里程计

针对利用平面特征计算RGB-D相机位姿时的求解退化问题,提出平面和直线融合的RGB-D视觉里程计(Plane-line-based RGB-D visual odometry,PLVO).首先,提出基于平面-直线混合关联图(Plane-line hybrid association graph,PLHAG)的多特征关联方法,充分考虑平面和平面、平面和直线之间的几何关系,对平面和直线两类几何特征进行一体化关联.然后,提出基于平面和直线主辅相济、自适应融合的RGB-D相机位姿估计方法.具体来说,鉴于平面特征通常比直线特征具有更好的准确性和稳定性,通过自适应加权的方法,确保平面特征在位姿计算中的主导作用,而对平面特征无法约束的位姿自由度(Degree of freedom,DoF),使用直线特征进行补充,得到相机的6自由度位姿估计结果,从而实现两类特征的融合,解决了单纯使用平面特征求解位姿时的退化问题.最后,通过公开数据集上的定量实验以及真实室内环境下的机器人实验,验证了所提出方法的有效性.

高级语义修复策略的跨模态融合RGB-D显著性检测

针对显著区域定位不完整以及边缘模糊问题,提出一种RGB-D显著性目标检测方法。该方法首先设计了一个跨模态特征融合模块来逐层融合RGB和Depth信息,并得到六个模态融合特征输出。该模块降低了RGB和Depth信息之间存在的差异性,为后续的高级语义修复提供更具共性和互补性的深层特征;基于上述模块获得的多层次信息,利用后三层特征,联合提取更丰富的高级语义信息,并得到初始显著图。之后,采用UNet的网络结构,从网络的顶层向下融合,每一层经过上采样之后与下一层进行通道维度上的融合,前三层底层特征在融合前后采用高级语义特征进行指导,以完成对底层特征的修复。最后,得到最终的显著图。提出的跨模态特征融合模块能够自适应地融合多模态特征,突出融合特征的共性和互补性,降低融合的模糊度。提出的高级语义修复策略有助于准确检测出显著区域并提高边缘清晰度。实验结果表明,该算法在NJU2K、NLPR、STERE、DES、SIP五个数据集上均超过大部分优秀的方法,达到了较为先进的性能。

基于深度质量感知和分层特征引导的RGB⁃D显著性检测

现有基于融合的RGB-D显著性物体检测方法在对跨模态特征进行融合时忽视了RGB和深度图两模态特征的差异性,跨模态特征融合不均衡的问题使得模型不能充分利用跨模态互补特征,而低质量深度图也会对模型性能带来损害。提出一种基于深度质量感知和分层特征引导的RGB-D显著性物体检测算法。算法分为两个阶段:深度质量感知阶段和分层特征引导阶段。在第一阶段,利用深度质量感知从现有的主流RGB-D显著性物体检测训练数据集中挖掘高质量深度图,对训练集进行增强,提升低质量深度图的质量,减少噪声数据对模型性能的损害;在第二阶段,利用特征引导网络对RGB图和深度图进行分层自适应权重动态融合,在有效增加融合效率的同时增强跨模态融合的感知能力。在基准数据集NJUD、NLPR、SSD、STEREO和SIP上的实验结果表明,相比于SSF、CDNet、D3Net、DASNet等方法,该算法能够大幅提升深度图质量,其中在NLPR数据集上F-Measure值为0.934,MAE仅为0.020,综合性能优于其他相关SOTA方法,证明了先挖掘高质量深度图再进行跨模态自适应动态融合算法的有效性。

融合点、面特征的RGB-D视觉里程计

基于ICP的视觉里程计算法存在计算量大、收敛缓慢的问题,并且室内环境存在大量结构化平面。为此,提出了一种融合点特征和面特征的RGB-D视觉里程计算法。首先利用改进后的ORB算法提取环境中的角点信息,然后利用层次聚类和主成分分析进行平面拟合,提取出环境中的平面特征,接下来根据特征匹配对,使用融合了点面特征的特征匹配算法解算出相机的位姿估计,最后再利用ICP算法精确计算相机的位姿变化。方法再TUM数据集中表现出了良好的性能,效果显著优于传统的ElastcFusion算法,重建结果的表面信息更为丰富准确,累积误差的精度提升,满足实时重建的要求,具有一定的实用价值。

基于RGB-D融合的实时物体检测方法

随着深度学习技术在工业中的广泛应用,目标检测技术作为深度学习和机器视觉中的关键技术,也在越来越多的应用中成为基本的构建模块。为提升算法的鲁棒性,使其能更好地适应光照较弱和过度曝光等不利环境,使用RGB与深度数据融合的方式构建模型,并使用可分离卷积、预设框优化以及损失函数优化的方式提升算法的检测速度与精度。最后使用采集的数据进行训练和测试,验证方法的有效性。

基于双金字塔网络的RGB-D群猪图像分割方法

为实现群养猪的视觉追踪和行为监测,针对猪舍中仔猪因拥挤堆叠等习性而导致的目标个体粘连、图像分割困难问题,提出基于双金字塔网络的RGBD群猪图像分割方法。该方法基于实例分割Mask R-CNN框架,在特征提取网络(ResNet101)基础上改进成双金字塔特征提取网络。RGB图像和Depth图像分别提取特征后进行融合,输入区域生成网络得到预选锚(ROI)和共享特征输入Head网络,通过类别、回归和掩模3个分支,输出检测目标的位置和分类结果,实现猪舍场景下群养仔猪粘连区域的有效个体分割。网络模型训练采用2000组图像样本,按照4∶1比例随机划分训练集和验证集。试验结果表明,双金字塔网络(Feature pyramid networks,FPN)能有效解决颜色相近、个体相似的群猪粘连问题,实现单个仔猪区域的完整分割,分割准确率达89.25%,训练GPU占有率为77.57%,与Mask R-CNN和PigNet网络分割结果相比,分割准确率和分割速度均有较大提高。双金字塔网络模型对于多种行为状态、不同粘连程度的群猪图像中个体分割都取得了良好效果,模型泛化性和鲁棒性较好,为群养猪的个体自动追踪提供了新的途径。