用于实时语义分割的丰富语义提取器网络

目的由于推理速度限制,网络深度较浅,实时语义分割网络提取的语义特征信息不足。此外,较浅的网络深度也限制了特征提取网络的能力,降低了其鲁棒性和适应能力。为此,方法提出一种用于实时语义分割的丰富语义提取器网络。首先针对语义特征信息提取不足的问题,引入丰富语义提取器,丰富语义提取器包括多尺度全局语义提取模块和语义融合模块。其次,利用多尺度全局语义提取模块可以提取丰富的多尺度全局语义,扩大网络的有效感受野,同时语义融合模块将多尺度局部语义与多尺度全局语义高效融合,使网络拥有更全面更丰富的语义信息。最后针对细节分支和语义分支的特点设计空间重构聚合模块,建模细节特征的上下文信息,增强特征表示,使2个分支高效聚合。结果在Cityscapes和ADE20K数据集上进行全面实验,所提出的RSENet分别以76帧/s和67帧/s的推理速度达到了75.6%和35.7%的MIoU。结论实验结果表明,在复杂场景语义信息的提取方面,本文所提出的网络能够深入挖掘并准确捕捉图像中语义信息。同时,在精度与速度的平衡方面也展现出了卓越的性能,不仅能够实现高精度的语义分割,而且推理速度非常快。这种高效的图像分割能力使得网络在实际应用场景中具有极高的实用性和可操作性。