基于注意力机制与多任务的肺部疾病诊断方法

肺部疾病存在种类多、病灶区域小的特点,现有数据集也存在数据量小的问题,导致模型效果不理想。为提高诊断效果,提出一种基于多任务联合注意力机制的肺部诊断网络(ASNet)。基于U-Net构建多任务诊断网络,在原有病灶分割任务基础上加入病理分类任务,加强任务之间的联系,以分割任务为辅,提升分类任务准确率;提出多尺度挤压激励模块,加强空间和通道之间的信息融合;引入一种轴向注意力机制,强调全局上下文信息和位置信息缓解由于医疗数据匮乏引起的欠拟合问题;设计自适应多任务混合损失函数,实现分割和分类任务损失权重的均衡。在自建数据集上的实验结果表明,提出网络在病灶分割任务上的Dice系数、特异性(SP)、灵敏度(SE)、HD距离和准确率的平均结果分别为81.1%、99.0%、84.1%、24.6 mm和97.5%,优于SAUNet++、SwinUnet等其他先进分割网络;在病理分类任务上比MobileNetV2网络在精确率、召回率和准确率指标上分别提升了2.0、1.8和1.7百分点,明显提升了在分类和分割上的精度,对小目标病灶分割效果更佳,其在合理的参数量下更适用于协助肺部疾病诊断。

基于激光雷达点云的动态驾驶场景多任务分割网络

在自动驾驶场景理解任务中进行准确的可行驶区域以及动静态物体分割对于后续的局部运动规划和运动控制至关重要。然而当前基于激光雷达点云的通用语义分割方法并不能在车端边缘计算设备上实现实时且鲁棒的预测,且不能预测当前时刻的物体运动状态。为解决该问题本文提出一种可行驶区域及动静态物体多任务分割网络MultiSegNet。该网络利用激光雷达输出的深度图及处理后得到的残差图像作为编码空间特征和运动特征的表征输入到网络用于特征学习,从而避免直接处理无序高密度点云。针对深度图在不同方向视角内目标分布数量差异较大的特点,本文提出了变分辨率分组输入策略。该方法能在降低网络计算量的同时提高网络的分割精度。为适配不同尺度目标所需要的卷积感受野尺寸本文提出了深度值引导的分层空洞卷积模块。同时本文为有效关联并融合不同时域下物体的空间位置和姿态信息提出了时空运动特征增强网络。为验证所提出MultiSegNet的有效性,本文在大规模点云驾驶场景数据集SemanticKITTI及nuScenes上进行验证。结果表明:可行驶区域、静态物体和动态物体的分割IoU分别达到98%、97%和70%,性能优于主流网络,且在边缘计算设备上实现实时推理。

联合语义分割的自监督单目深度估计方法

研究深度估计和语义分割的图像之间的互利关系,提出了一种联合语义分割的自监督单目深度估计方法USegDepth.语义分割和深度估计任务通过共享编码器,实现语义引导.为了进一步提高编码器的跨多任务性能,设计了多任务特征提取模块,堆叠该模块构成共享编码器,解决有限感受野和缺乏跨通道交互导致的模型特征表示能力欠佳问题,进一步提升模型精度.同时,提出跨任务交互模块,通过双向的跨域信息交互细化特征表示,提升深度估计表现,特别是光度一致性监督有限的弱纹理区域和物体边界.通过在KITTI数据集上的训练和全面评估,实验结果显示所提的USegDepth模型方法的均方相对误差相比于SGDepth降低了0.176个百分点,在阈值为1.253的阈值精度达到了98.4%,证明了USegDepth在深度预测上具有较高的准确率.

联合语义分割和深度估计的交通场景感知算法

受不同像素级视觉任务间的特征信息能够相互指导和优化的思路启发,基于多任务学习理论提出联合语义分割和深度估计的交通场景感知算法.提出双向跨任务注意力机制,实现任务间的全局相关性显式建模,引导网络充分挖掘和利用任务间互补模式信息.构建多任务Transformer,增强特定任务特征的空间全局表示,实现跨任务全局上下文关系的隐式建模,促进任务间互补模式信息的融合.设计编-解码融合上采样模块来有效融合编码器蕴含的空间细节信息,生成精细的高分辨率特定任务特征.在Cityscapes数据集上的实验结果表明,所提算法的语义分割平均交并比达到79.2%,深度估计均方根误差为4.485,针对5类典型交通参与者的距离估计平均相对误差为6.1%,能够以比现有主流算法更低的计算复杂度获得更优的综合性能.

一种融合检测、跟踪与分割的行人多任务算法

随着图像处理算法需求的增长,单个视觉算法往往难以满足任务需求,针对该现象,提出一种同时具备检测、实例分割和多目标跟踪的多任务处理算法。算法采用Anchor Free的框架实现一阶段的检测、分割与跟踪,使用基于网格的预测策略降低多任务分支带来的计算量增加,降低了模型部署的算力需求。跟踪分支采用词嵌入的方式对跟踪对象进行编码,根据编码间的距离进行关联。分割分支采用Mask系数和原始掩膜组合的方式,平衡了算法运行的精度和速度。实验表明,该多任务算法在实时运行的基础上能够满足一定的精度需求。

三维点云室内场景的语义实例联合分割网络

针对点云分割网络无法在复杂的室内场景中实现高精度分割的问题,本文设计了一种基于深度学习的语义实例联合分割网络,同时完成三维点云数据的语义分割和实例分割任务,主要包含多任务学习主干网络、特征融合模块和语义实例特征联合模块等。特征融合模块通过跳跃连接融合多个网络层,分别融合2个任务各自不同级别的特征,加强网络对数据中包含的信息的整合,并选取大型室内场景数据集S3DIS和部件分割数据集ShapeNet进行对比实验。实验结果显示,网络在数据集S3DIS的语义分割的总体准确率为86.5%,在数据集ShapeNet的语义分割类别交并比为83.1%,在数据集S3DIS的实例分割的平均精度为60.8%。语义实例特征联合模块通过多任务级的特征联合增加语义和实例的判别特征,提高了点云的语义分割和实例分割的准确率。

一种多任务学习结合U-Net的微动脉瘤图像分割方法

微动脉瘤是检测糖尿病初期视网膜病变的关键病灶,针对微动脉瘤图像分割问题,提出了多种图像预处理技术与多任务学习网络相结合的方法。该方法使用了多种图像预处理技术,在UNet中引入了注意力机制,并将微动脉瘤图像分割作为主任务,微动脉瘤存在性检测作为副任务,利用多任务学习结合U-Net来提升主任务分割效果。在国际公开数据集上进行实验,获得了AUC为9.48%以及AP为51.40%的结果,与单任务图像分割相比,AP值提升了3.82%,由实验结果可知该方法能够提升微动脉瘤的分割效果。

基于多任务学习的青光眼智能诊断

为了提高青光眼检测的准确率,降低青光眼的危害,本文提出一种基于多任务学习的青光眼智能诊断方法,将U-Net网络和VGG16网络结合,U-Net网络和VGG16网络共用U-Net网络的编码器部分,通过U-Net网络得到杯盘比(cup-to-disc ratio,CDR),并且将CDR作为眼底图像的特征之一输入VGG16网络,实现眼底图像的青光眼分类。实验使用REFUGE挑战数据集进行验证,网络模型在训练后得到的工作特性曲线下面积为0.9788,且视盘和视杯的分割准确率分别达到0.8745和0.9624,对比其他使用相同数据集的方法,本方法具有更高的青光眼分类准确率。

自动驾驶环境感知多任务去耦-融合算法

自动驾驶车辆在行驶过程中,需要对行人和车辆同时完成目标检测、实例分割和目标跟踪三个任务。提出一种基于深度学习的环境感知模型同时对三个任务进行多任务学习。首先,通过卷积神经网络对连续帧图像提取时空特征;然后,通过注意力机制对时空特征进行去耦再融合,充分利用任务间的相关性,实现不同任务对时空特征的差异化选择;最后,为平衡不同任务间的学习速率,使用动态加权平均的方式对模型进行训练。在KITTI数据集上的实验结果表明,所提模型在目标检测方面,比CenterTrack模型F1得分提高了0.6个百分点;在目标跟踪方面,比TraDeS(Track to Detect and Segment)模型多目标跟踪精度(MOTA)提高了0.7个百分点;在实例分割方面,比SOLOv2(Segmenting Objects by LOcations version 2)模型AP_(50)和AP_(75)分别提高了7.4和3.9个百分点。

基于多任务学习的近岸舰船检测方法

在遥感光学图像近岸舰船目标检测任务中,针对近岸复杂场景中存在形状近似目标的虚警问题,提出一种基于多任务学习的近岸舰船目标检测方法。该方法通过构建海陆分割任务与舰船检测任务并行双路框架,将传统的任务串行处理流程优化为并行处理方式,设计联合损失函数进行双路优化训练约束,提升模型训练的稳定性,通过双分支融合模块剔除陆地掩膜中的检测结果,实现陆地虚警滤除。采用谷歌地球遥感图像制作的数据集进行实验,将本文提出的方法与单任务检测算法YOLOv5相比,mAP提升了4.4个百分点,虚警率降低了3.4个百分点。实验结果表明本文算法对陆地虚警抑制有效。

基于MSFA-Net的车辆及车道线检测算法

车辆检测与车道线分割是自动驾驶感知系统的重要组成部分,其基本要求是具有高精度和实时性。鉴此提出一种双任务多尺度特征聚合网络(MSFA-Net),该网络由1个特征提取网络和2个检测分支网络构成,实现了车辆和车道线同时检测。首先使用E-ELAN网络构造共享主干特征网络;在车辆检测分支网络设计增强卷积模块(CBS+)进行自下而上的特征融合以提升精度;在车道线检测分支网络使用特征融合模块(FeatFuse)对多分辨率特征进行自适应加权融合,配合空洞卷积语义感知模块(CDBS)使用梯形结构的多空洞值卷积对融合特征进行采样,以提升不连续车道线及其他非线性车道的分割精度。结果表明:在BDD100K数据集上,该文网络MSFA-Net其平均精度均值、召回率、像素准确率分别达到了81.3%、90.1%和80.1%,检测帧率达到了41.6帧/s,能较好适应真实行车环境的需求。

面向路面抛洒物检测的多任务学习算法研究

针对现有检测算法在定点抛洒物检测方面的不足,提出一种基于多任务学习和图像处理的路面抛洒物检测算法.首先,为YOLOv6s设计一种融合多层语义特征的语义分割头,并为目标检测分支和语义分割分支设计损失函数,进行多任务学习;其次,结合语义分割分支分割连续性的优势以及图像处理的方法,提取完整路面区域;最后,引入结合IoU和质心位置的抛洒物区域识别与排除方法,实现非抛洒物的排除和最终抛洒物区域提取.实验结果表明,在BDD100k数据集上,改进算法在车辆目标检测和可行驶区域分割上分别达到77.8%的平均精度值(mAP)和91.5%的平均交并比(mIoU).

基于多任务学习的间质性肺病分割算法

间质性肺病(ILD)的分割标签标注成本极高,且现有数据集通常存在样本量较少的问题,导致训练的模型效果较差。针对该问题,提出一种基于多任务学习的ILD分割算法。首先,基于U-Net构建多任务分割模型;其次,使用生成的肺部分割标签作为辅助任务标签进行多任务学习;最后,使用一种自适应调整多任务损失函数权重的方法,平衡主任务和辅助任务的损失。在自构建的ILD数据集上的实验结果表明,多任务分割模型的Dice相似系数(DSC)达到了82.61%,与U-Net相比提升了2.26个百分点。验证了所提算法可以提升ILD的分割性能,协助临床医生进行ILD诊断。

深度指导的无监督领域自适应语义分割

为了提高语义分割精度,解决模型在不同数据域上泛化性差的问题,提出基于深度信息的无监督领域自适应语义分割方法.首先,深度感知自适应框架通过捕捉深度信息和语义信息的内在联系,减小不同域之间的差异;然后,设计了一个轻量级深度估计网络来提供深度信息,通过跨任务交互策略融合深度和语义信息,并在深度感知空间对齐源域和目标域的分布差距;最后,提出基于深度信息的域内自适应策略弥合目标域内部的分布差异,将目标域分为子源域和子目标域,并缩小子源域和子目标域分布差距.实验结果表明,所提方法在SYNTHIA-2-Cityscapes和SYNTHIA-2-Mapillary跨域任务上的平均交并比分别为46.7%和73.3%,与同类方法相比,该方法在语义分割和深度估计精度上均有显著提升.

基于OrchardYOLOP的火龙果园多任务视觉感知方法

现代果园机器人面临复杂环境、光线多变和非结构化环境等问题,需要高效处理大量环境信息,而传统顺序执行多个单一任务的算法受到计算能力的限制,难以满足现代果园机器人的需求。本文针对火龙果园环境中自动驾驶机器人处理多任务时所面临的实时性和准确性要求,基于YOLOP模型引入了焦点融合高效卷积模块,并采用C2F和SPPF模块,同时优化了分割任务的损失函数,从而构建出OrchardYOLOP模型。实验结果表明,在目标检测任务上的精确度达到84.1%;在可行驶区域分割任务上的mIoU达到89.7%;在果树区域分割任务上的mIoU提高到90.8%;推理速度达到33.33 f/s,而参数量仅有9.67×10^(6)。与YOLOP模型相比,不仅在速度上满足了实时性要求,而且准确性上也有显著提升。这解决了火龙果园多任务视觉感知中的关键问题,为非结构化环境下的多任务自动驾驶视觉感知提供了一种有效的解决方案。

图计算平台性能优化与并行计算策略研究

图计算平台的性能优化与并行计算策略仍面临诸多挑战。对图计算平台的性能优化与并行计算策略进行了综述与分析。首先,分析了图计算平台的特点及其面临的性能瓶颈;其次,总结了常见的数据分割策略、任务调度策略及并行计算框架,对比分析了它们的优缺点;再次,探讨了图数据存储压缩、缓存机制、数据预取与延迟加载等优化技术;最后,指出了图计算领域的研究趋势和有待进一步探索的方向。

基于多任务网络的海上目标检测与区域分割

针对单任务网络理解海上场景所需要提供的视觉信息的维度局限性和计算负担的问题,提出了一种基于YOLOv5的海上目标检测和区域分割的多任务算法。首先将空洞卷积及混合注意力引入ASPP模块,扩大感受野,增强模型对船舶的定位能力和区分背景与前景的能力;采用改进的PAN+模块,提升模型对不同语义信息的融合能力;引入边缘增强模块,在不损伤检测速度的情况下,提升水面岸体的分割精度。实验结果表明,上述方法相较于YOLOv5s船舶检测精度提升了5.2个百分点,相较于YOLOP分割精度提升了3.2个百分点,能够在较小计算量的情况下很好地平衡检测和分割精度与实时性。

基于感受野注意力卷积的自动驾驶多任务感知算法

可行驶区域分割、车道线检测及交通目标检测等作为自动驾驶感知的关键部分,并行执行对智能车辆的算力要求较高,多任务感知算法能够实现实际应用中精度与速度的权衡。针对多任务感知算法中路况复杂、目标受遮挡等难点,通过改进YOLOP网络,提出一种基于感受野注意力卷积(RFAConv)的多任务感知算法。将主干网络中的部分卷积替换为感受野注意力卷积,根据感受野中图像特征的重要程度动态分配卷积核权重以提高网络的特征提取能力;重构特征金字塔网络,使用高效跨尺度融合模块替换原有的跨阶段层次模块,充分保留特征融合的有效信息,并使用内容感知特征重组模块作为上采样方法,减少特征融合时上采样的信息丢失;使用MPDIoU函数计算回归损失,解决真实框与预测框之间同比例但不同大小的问题,进一步提高对交通目标的检测能力。在BDD100K数据集上的测试结果表明,该模型在可行驶区域分割、车道线检测及交通目标检测方面检测精度优于其他多任务模型甚至单任务模型,同时保证了网络实时推理性能。

多任务特征融合的CenterNet运动车辆检测方法

基于深度学习技术的运动车辆检测是交通和计算机学科当下的研究热点.针对动态车辆检测任务中多尺度、目标重叠、难以区分动态和静态的车辆等难题,本文提出了一种多任务特征融合的CenterNet运动车辆检测方法.首先向网络中新增一支用于实现车辆分割的任务流,与原有目标检测流共同组成双流机制,然后使用恰当的方式实现双流特征融合,辅助增强目标检测流中的关键特征信息,此外,注意力机制的加入进一步优化了模型精度.在以公共数据集UA-DETRAC为基础所制作的测试集上,本文方法的平均精确率为70%,相比原始CenterNet模型提高了5.8%;帧率为30 f/s,在对比方法中具有最佳的速度与精度均衡性.大量实验表明,本文方法能够较好地胜任运动车辆的检测任务.

基于级联解码与边缘感知的RGB-D图像语义分割算法

随着深度传感器技术的发展,由于其采样得到的深度图像含有场景的空间几何信息,有助于提升语义分割精度,因此RGB-D图像的语义分割受到了广泛关注,然而现有的基于编码器-解码器架构的双流RGB-D语义分割网络仍存在分割不够精细和边缘区域分割精度低的问题。针对上述问题,论文提出了一种基于级联解码与边缘感知的RGB-D语义分割方法。首先设计了级联解码器,采用自顶向下的解码方式逐级整合多尺度信息,细化分割结果;随后将边缘检测任务以多任务学习的方式引入RGB-D语义分割中,增大卷积神经网络所提特征对边缘像素的关注度,提升分割边缘的精度。在NYUDv2数据集上的实验结果表明,所提出的语义分割方法优于其他对比方法。