RGB-D双模态特征融合语义分割

针对复杂室内场景中,现有RGB图像语义分割网络易受颜色、光照等因素影响以及RGB-D图像语义分割网络难以有效融合双模态特征等问题,提出一种基于注意力机制的RGB-D双模态特征融合语义分割网络AMBFNet(attention mechanism bimodal fusion network)。该网络采用编-解码器结构,首先搭建双模态特征融合结构(AMBF)来合理分配编码支路各阶段特征的位置与通道信息,然后设计双注意感知的上下文(DA-context)模块以合并上下文信息,最后通过解码器将多尺度特征图进行跨层融合,以减少预测结果中类间误识别和小尺度目标丢失问题。在SUN RGB-DNYU和NYU Depth v2(NYUDV2)两个公开数据集上的测试结果表明,相较于残差编解码(RedNet)、注意力互补网络(ACNet)、高效场景分析网络(ESANet)等目前较先进的RGB-D语义分割网络,在同等硬件条件下,该网络具有更好的分割性能,平均交并比(MIoU)分别达到了47.9%和50.0%。

基于多传感器数据融合的障碍物判定系统

针对视觉传感器获取障碍物深度信息准确率低,单一或少数超声波传感器无法获得大范围场景深度信息,传感器阵列式、全局布局方式体积太大等问题,提出一种多传感器数据融合障碍物判定系统。首先系统前端设计一种立体转轴式数据采集结构,基于该结构提出一种全局场景深度值采集方法,简化传统隶属度的运算来提高数据处理效率,利用数据组的互补和冗余性,使用Bayesian与模糊理论相结合的融合方法得到障碍物位置的最优估计值;其次配以视觉传感器以提高障碍物形态信息判定的准确性;最后系统所有功能基于树莓派实现,使其具备便携、可移植特点。实验结果表明,系统能够实时并准确判断出环境中多个障碍物的深度位置、形状和动态信息,相较于真实场景,角度值最大绝对误差为6.2°,深度值误差率在4%以内,满足避障需求。