特征自适应融合插值的点云语义分割算法

点云语义分割是场景理解的基础问题。大多数针对大场景点云的语义分割方法精心设计局部特征聚合模块以减少降采样点云过程中的信息损失,然而未能高效地利用多尺度局部特征推理点云语义信息。为此,文中提出一种多尺度特征自适应融合的插值方法,以实现更准确的大场景点云语义分割算法。首先,通过注意力机制的局部特征聚合模块学习点云内部的语义关系,描述局部模式的各项异性;然后,以不同的采样率随机地采样点云产生多尺度的稀疏局部特征图;最后,使用特征自适应融合的插值法代替广泛使用的最近邻插值法,恢复全分辨率的特征图,为原始密度的点云提供更准确的语义信息。在SemanticKITTI和S3DIS两个大场景点云数据集上对所提算法进行评估,结果表明,所提算法的平均交并比(mIoU)分别为54.24%、75.5%,平均准确率(mACC)分别达到88.92%、86.5%,比大多数主流算法的分割效果更加准确。

跨级融合门控自适应网络用于视网膜血管分割

针对现有多数算法对浅层特征提取不足,导致分割结果中血管边界模糊、毛细血管欠分割且包含噪声等问题,提出一种跨级融合门控自适应网络。该网络中的密集门控通道变换模块,通过促进通道之间的竞争或协同关系充分提取浅层特征信息,避免浅层粗粒度特征信息丢失;通过跨层次融合模块捕获各层跨维度交互信息,有效聚合多尺度上下文特征;采用双自适应特征融合方法有效引导相邻层次特征融合,抑制噪声。在公共数据集DRIVE、CHASEDB1和STARE上进行验证,结果表明:所提网络准确率分别为0.9652、0.9668和0.9695,F_(1)值分别为0.8544、0.8152和0.8412,在多个指标上均处于较高水平,优于现有先进算法。

红外弱光下多特征融合与注意力增强铁路异物检测

针对红外弱光环境下铁路异物检测时存在目标特征提取不充分、检测精度及实时性低的问题,在CenterNet目标检测模型的基础上,提出了一种红外弱光下多特征融合与注意力增强的无锚框异物检测深度学习模型。在红外目标多尺度特征提取的基础上,引入自适应特征融合(ASFF)模块,充分利用目标高层语义与底层细粒度特征信息,提升红外目标特征提取能力。通过提出的空洞卷积增强注意力模块(Dilated-CBAM)进行关键特征提取,扩大注意力模块感受野范围,克服了原始CenterNet卷积块感受野映射区域变窄、无法检测弱小目标的问题,提升了无锚框网络的检测精度。使用Smooth L1损失函数进行训练,克服了L1损失函数在网络训练过程收敛速度慢及训练不稳定解的问题。通过铁路红外数据集及现场实验测试,结果表明:所提方法较原始CenterNet模型平均检测精度提高了8.03%,检测框置信度提升了31.23%,平均检测速率是Faster R-CNN模型的9.6倍,所提方法在红外弱光环境下能够更加快速准确地检测出铁路异物,主客观评价均优于对比方法。

基于双流自适应时空增强图卷积网络的手语识别

针对提取手语特征过程中出现的信息表征能力差、信息不完整问题,设计了一种双流自适应时空增强图卷积网络(two-stream adaptive enhanced spatial temporal graph convolutional network,TAEST-GCN)实现基于孤立词的手语识别。该网络使用人体身体、手部和面部节点作为输入,构造基于人体关节和骨骼的双流结构。通过自适应时空图卷积模块生成不同部位之间的连接,并充分利用其中的位置和方向信息。同时采用残差连接方式设计自适应多尺度时空注意力模块,进一步增强该网络在空域和时域的卷积能力。将双流网络提取到的有效特征进行加权融合,可以分类输出手语词汇。最后在公开的中文手语孤立词数据集上进行实验,在100类词汇和500类词汇分类任务中准确率达到了95.57%和89.62%。

多尺度特征自适应融合的轻量化织物瑕疵检测

织物瑕疵检测是纺织行业保证产品质量的重要环节,针对织物瑕疵检测中存在小目标瑕疵检测困难、不同种类瑕疵长宽比差异大、对实时性要求高等问题,提出一种新的轻量化织物瑕疵检测算法。以YOLOv4网络为基础,使用轻量化网络MobileNetv2为主干网络,有效减少模型参数总量与运算量,以满足实时性需求。在MobileNetv2的逆残差结构中加入CoordAttention注意力模块,将空间精确位置信息嵌入到通道注意力中,增强网络聚焦小目标特征的能力。使用自适应空间特征融合(ASFF)网络改进路径聚合网络(PANet),使模型通过学习获得多尺度特征图的融合权重,从而充分利用浅层特征与深层特征,提高算法对小目标瑕疵的检测精度。采用K-means++算法确定先验框尺寸,并用Focal Loss函数修改模型损失函数,降低正、负样本不平衡对检测结果的影响,解决不同种类瑕疵长宽比差异大及类别不平衡的问题。实验结果表明,相较于YOLOv4算法,所提算法的平均精度均值提高了2.3个百分点,检测速度提升了12 frame/s,能较好地应用于织物瑕疵检测。

基于改进YOLOv5s的面向自动驾驶场景的道路目标检测算法

在复杂道路场景中检测车辆、行人、自行车等目标时,存在因多尺度目标及部分遮挡易造成漏检及误检等情况,提出一种基于改进YOLOv5s的面向自动驾驶场景的道路目标检测算法。首先,利用深度可分离卷积替换部分普通卷积,减少模型的参数量以提升检测速度。其次,在特征融合网络中引入基于感受野模块(receptive field block,RFB)改进的RFB-s,通过模仿人类视觉感知,增强特征图的有效感受野区域,提高网络特征表达能力及对目标特征的可辨识性。最后,使用自适应空间特征融合(adaptively spatial feature fusion,ASFF)方式以提升PANet对多尺度特征融合的效果。实验结果表明,在PASCAL VOC数据集上,所提算法检测平均精度均值相较于YOLOv5s提高1.71个百分点,达到84.01%,在满足自动驾驶汽车实时性要求的前提下,在一定程度上减少目标检测时的误检及漏检情况,有效提升模型在复杂驾驶场景下的检测性能。

复杂作业场景下的反光衣和安全帽检测方法

针对现有算法在复杂的工地环境中进行反光衣和安全帽检测时存在的无法有效区分目标和背景的微小差异问题,提出了一种改进YOLOX的反光衣和安全帽检测算法。首先,将主干网络中空间金字塔池化中的最大池化替换为平均池化,减少特征图的信息损失和过拟合风险;其次,设计一种带权注意力模块(Weighted Convolutional Block Attention Module,W-CBAM)嵌入特征融合层,通过权重系数提升对特征图空间维度的关注,增强特征图的表达能力;最后,添加自适应特征融合(Adaptively Spatial Feature Fusion,ASFF)模块,解决多尺度特征融合时存在的不一致性问题。在扩充后的公开反光衣安全帽数据集的试验结果表明,所提算法精度高达98.79%,优于原始的YOLOX算法和其他先进算法,同时具有较快的检测速度,满足施工环境检测需求。

卷烟厂卷包车间工人违规作业行为检测方法

小目标检测一直是目标检测领域的难点,针对卷烟厂卷包车间摄像头安装位置较高、小目标检测精度低和总体检测精度较低的问题,提出了一种改进的YOLOv8n目标检测算法YOLOv8n-FIAL。首先使用添加通道重排机制的C2fg模块代替原本C2f模块,提高特征学习能力,使用自适应通道特征融合模块代替YOLOv8n算法Neck部分的Concate操作,使特征融合更加充分;然后增加小目标检测层,提高小目标检测精度,降低漏检率;最后使用Focal-EIOU损失函数替换原来的CIOU损失函数,平衡锚框与真实框重叠较大的高质量锚框的数量远少于低质量锚框训练实例不平衡的问题。实验结果表明,在自制的卷烟厂工人违规作业数据集上,所提出的YOLOv8n-FIAL检测方法相比原始的YOLOv8n方法的总体平均精度均值提升了7.6%,对口鼻、手拿手机和衣服领口这3类小目标平均精度均值提升最大,分别提升了8.3%,8%和9.6%;在公共数据集VOC2007上,YOLOv8n-FIAL算法相比YOLOv8n算法的总体平均精度均值提升了1.6%。

多级自适应尺度的U型视网膜血管分割算法

针对视网膜血管细小和尺度变化复杂的特点,提出一种多级自适应尺度的U型视网膜血管分割算法。首先以编码-解码结构为基础引入残差模块,加强通道特征传播能力。其次在网络底部嵌入多尺度特征提取模块,旨在调整感受野有效地提取多尺度特征。同时在跳跃连接部分增加改进的自适应特征融合模块,促进相邻层次特征之间的有效融合,以提取更多的细小血管特征。最后在解码部分设置侧输出的多级注意结构对多层次特征进行自适应细化。实验结果表明,该算法在DRIVE、STARE和CHASEDB1数据集上准确率分别达到0.9645、0.9694和0.9671,灵敏度分别达到0.8417、0.8465和0.8545,AUC分别达到0.9866、0.9908和0.9877,整体性优于现有算法。

基于多模态图像信息的变电设备红外分割方法

无人机拍摄下的红外图像中变电设备的分割精度直接影响着热故障诊断的结果,针对复杂红外背景下变电设备分割精度低的问题,提出了一种融合可见光和红外图像的多模态路径聚合网络(Multimodal Path Aggregation Network,MPAN)。首先提取并融合两种模态图像的特征,考虑到两种模态图像的特征空间存在差异,提出了自适应特征融合模块(Adaptive Feature Fuse Module,AFFM),以充分融合两种模态特征;对具有多尺度特征的主干网络增加自底向上的金字塔网络,并对横向连接的路径增强模块引入自注意力机制;最后使用dice系数优化掩膜损失函数。实验结果表明,多模态图像的融合能够增强分割性能,且验证了提出各模块的有效性,该模型能够显著提高红外图像中变电设备实例分割的准确率。

基于DBAFFNet的低照度图像增强

针对当前低照度图像增强后存在色偏、细节损失和噪声放大的问题,提出了基于双分支自适应特征融合网络的低照度图像增强方法。首先,设计自适应特征融合模块,在深层特征中融合更多细节和颜色信息;其次,构建通道及空间注意力模块,使网络着重于图像细节和颜色的恢复;最后,根据Retinex理论设计Poisson-Retinex损失函数,抑制图像的噪声,从而提高图像的增强效果。在多个数据集上的主观和客观对比结果表明,所提方法不仅能恢复增强图像的颜色和细节,而且能更好地抑制噪声,从而获得良好的增强效果。

基于相机与激光雷达融合多目标检测算法研究

准确的多目标感知系统是自动驾驶技术的关键。本文提出了一种基于相机与激光雷达融合的多目标检测算法。针对相机传感器无法获得准确的目标距离等深度信息,激光雷达无法获得准确的目标类别信息的问题,首先采用嵌入自适应特征融合模块的YOLOv7网络处理相机数据,同时对激光雷达数据进行点云预处理以消除无用的噪声点;其次,利用坐标变换将激光点云数据和相机数据转换到像素坐标系中;最后,采用基于ROI感兴趣区域的方法对点云进行聚类处理,以参数加权的方式融合两种传感器的检测结果。实验结果表明,嵌入改进YOLOv7网络的融合算法能够检测出更加准确的目标信息。

基于改进YOLOX-s的机场跑道冰雪状态感知

针对机场冰雪跑道安全性和适航性状态感知能力不足及跑道表面状况报告交互的新需求,提出一种面向多尺度特征融合的机场跑道冰雪状态感知模型.以YOLOX-s模型为基础,在主干特征提取网络中引入全局上下文模块,获取更丰富的浅层与深层特征;将颈部结构中路径聚合网络替换为双向特征金字塔,以提升特征融合能力;在加强特征提取网络尾部添加自适应空间特征融合结构,进一步增强特征融合效果;使用α-EIoU优化损失函数,提高模型收敛速度与精度.实验结果表明,改进后的YOLOX-s模型在跑道冰雪实验系统所得的冰雪污染物数据集上平均精度达到了91.53%,比原始的YOLOX-s模型提高了4.68%,能够为机场跑道除冰雪作业提供决策支持.

基于改进DeepLabV3+模型的遥感图像语义分割

我国自乡村振兴战略施行以来,不断促进乡村耕地的改良扩张,通过遥感图像对其面积的检测提取对于保障我国农村产业发展起到至关重要的作用。针对本文采用的数据集,普通DeepLabV3+模型缺少对条形结构区域以及离散结构区域特征的关注,并且缺少自适应的特征层融合过程,针对该问题,本文提出一种以MobileNetV2为骨干网络的轻量型改进DeepLabV3+模型。首先,通过MobileNetV2提取遥感图像特征;其次,将空间金字塔模块(ASPP)中的全局平均池化层替换为条形池化层,便于提取条形区域以及离散区域的特征信息;最后,为了获得多尺度特征信息,加入自适应特征融合模块,对不同特征层的特征进行融合,提高网络的特征表达能力。实验结果表明在不同类型的数据集中,改进DeepLabV3+模型的性能相比普通DeepLabV3+模型以及现有主流网络模型得到了一定提升,一定程度上改善了DeepLabV3+的不足,提高了遥感图像语义分割能力。

针对遮挡物体的轮廓细化实例分割

目的 遮挡物体实例分割效果的好坏与物体轮廓的预测结果息息相关,但目前算法预测的物体轮廓并不够细化,使得分割掩膜粗糙,物体边界分割效果不佳。为此,以BCNet(bilayer convolutional network)网络为基础,提出一种针对遮挡物体的轮廓细化实例分割算法,预测的物体轮廓更加精细,分割掩膜更加完整。方法 1)提出一种均衡池化注意力模块来提取特征,在传统一维平均池化的基础上,增加一维最大池化操作以突出细节特征,并将最大池化和平均池化结果进行加权融合来提取特征,使提取的特征能更好地兼顾物体的整体和边缘细节;2)将BCNet掩膜头中轮廓预测与掩膜预测分成两个支路来进行,从特征金字塔最高分辨率特征中提取感兴趣区域(region of interest, RoI)特征用于轮廓预测,并提出一种自适应特征融合模块,将轮廓预测支路中的特征与掩膜预测支路的特征进行融合,在轮廓预测支路中,融合掩膜预测支路的特征可以更好地判定轮廓所属物体类别,在掩膜预测支路,融合轮廓预测支路的特征能够更好地辅助掩膜定位。结果 在COCO 2017(common objects in context 2017)数据集上,本文相较于目前同类网络中性能最优的BCNet网络,在骨干网络为ResNet-50/101(deep residual network)时平均精度(average precision,AP)分别提高了1.7%和2.1%。结合可视化结果,本文分割算法对遮挡物体的轮廓分割更加精细,能有效分割出更加完整、精细的掩码。结论 提出的针对遮挡物体的轮廓细化实例分割算法,明显提升了遮挡物体实例分割的效果。