基于通道特征金字塔的图像分割算法

针对语义分割任务中存在的庞大参数计算成本和冗余参数量等问题,文中提出了通道特征金字塔模块来解决该问题。基于通道特征金字塔模块和轻量级注意力机制构建用于实时语义分割的网络。通道特征金字塔模块创造了足够的感受野并密集地利用了上下文信息,从第2个通道开始采用求和运算逐步组合特征图,并将它们连接起来构建最终分层特征图,在常规卷积层后添加卷积模块的注意力机制提升分割精度。在没有任何预训练和后处理的情况下,算法在CamVid数据集使用单块GTX2080Ti上仅用0.75 MB参数和5.3 MB内存就实现了68.1%的分割准确率,在Cityscapes数据集上以56帧的推理速度取得了75.7%的均交互比。

语义分割评价指标和评价方法综述

深度学习算法在语义分割领域已经取得大量突破,对这些算法的性能评估应选择标准、通用、全面的度量指标,以保证评价的客观性和有效性。通过对当前语义分割评价指标和度量方法进行归纳分析,从像素标记准确性、深度估计误差度量、执行效率、内存占用、鲁棒性等方面进行了多角度阐述,尤其对广泛应用的F1分数、mIoU、mPA、Dice系数、Hausdorff距离等准确性指标进行了详细介绍,并总结了提高分割网络鲁棒性的方法,指出了语义分割实验的要求和当前分割质量评价存在的问题。

基于深度学习的曲面玻璃表面缺陷检测方法

针对曲面玻璃表面缺陷成像难、识别准确率低等问题,提出一种基于YOLOv4的曲面玻璃表面缺陷检测方法。根据光源的方向确定平面与曲面的光学特性,采用明场背面漫射照明的方式来获得图像信息,确立打光方案后获取不同表面的缺陷图片。使用改进K-means聚类算法,采用交并比函数确定锚框的量度,解决原锚框大小不适用于玻璃缺陷小目标检测问题。将所提方法与缺陷检测主流算法对比验证。结果表明:所提改进的YOLOv4方法均值平均精度(mAP)可以达到80.14%,与Faster RCNN以及YOLOv3算法相比,mAP分别提升了8.29%和16.11%,并且有更好的鲁棒性和检测效果。

基于改进YOLOv3的桥梁底部裂缝目标检测方法

为实现桥梁裂缝的快速、准确定位,考虑光照变化、污渍阴影等干扰因素的影响,提出一种结合桥梁检测机和改进单阶段目标检测(you only look once version 3,YOLOv3)算法的桥梁裂缝检测方法。首先,在预处理阶段,采用改进自适应Mask匀光算法对数据集进行处理,矫正阴影和光照不均等问题,提高算法环境适应能力;其次,在目标检测阶段,针对桥梁裂缝的特点,对数据集使用k-means++算法聚类先验框以适应裂缝的不同尺寸,采用广义交并比对YOLOv3损失函数进行改进以提高定位精度;最后,采用迁移学习对YOLOv3进行训练。实验结果表明,在迭代140个epoch后,检测速度可达到31帧/s,平均精度(average precision,AP)达到94.88%,相比于采用原始数据集的原始YOLOv3网络AP值提高了13.16%,能够满足实时性和高精度的检测要求。

基于改进的全卷积神经网络的路面裂缝分割技术

裂缝是路面表面的重要病害之一。传统的裂缝检测依赖于人工的视觉检查,在实际操作中费时费力。虽然传统的图像处理技术在一定程度上可使裂缝检测与分割更加自动化,但是图像处理技术易受到由光照、模糊等引起的一些噪声的影响。为了完成复杂环境下对路面裂缝的分割及检测,提出了一种基于改进的全卷积神经网络(Fully Convolutional Networks,FCN)的分割方法,根据建立的数据集训练传统FCN和优化后的FCN,测试结果表明其平均交并比(mean_IoU)得到了一定的提高,故该方法能够较准确地分割出路面裂缝。

面向语义分割模型的外接多尺度投票网络

针对语义分割领域中多尺度共享网络训练复杂度高,以及网络在小目标、长条状目标、目标边缘处拟合效果不佳的问题,提出一种新型外接多尺度投票网络。通过投票网络融合各尺度分割结果,降低网络训练复杂度,并将共享网络中的分割网络与各尺度注意力头剥离开,仅训练各尺度注意力头,以便于网络收敛。在投票网络的结构设计中,使用多类别投票方法扩大投票空间,通过融入混合池化模块聚合近程与远程权值,扩大网络感受野,缓解权值图中长条状目标拟合间断与缺失的问题。在此基础上引入类内、类间投票注意力模块获取权值及类间关系,并采用不规则卷积,改善投票权值图的边缘拟合效果。在Cityscapes数据集上的实验结果表明,相比FCN、PSPNet、DeepLabv3+分割网络,该网络的平均交并比分别提升了0.92、0.88、0.80个百分点,与共享网络相比,其训练复杂度更低,精度更高。

基于改进YOLOv3的实时交通标志检测算法

针对目前我国智能驾驶辅助系统识别道路交通标志检测速度慢、识别精度低等问题,提出一种基于YOLOv3的改进的道路交通标志检测算法。首先,将MobileNetv2作为基础特征提取网络引入YOLOv3以形成目标检测网络模块MN-YOLOv3,在MN-YOLOv3主干网络中引入两条Down-up连接进行特征融合,从而减少检测算法的模型参数,提高了检测模块的运行速度,增强了多尺度特征图之间的信息融合;然后,根据交通标志目标形状的特点,使用K-Means++算法产生先验框的初始聚类中心,并在边界框回归中引入距离交并比(DIOU)损失函数来将DIOU与非极大值抑制(NMS)结合;最后,将感兴趣区域(ROI)与上下文信息通过ROIAlign统一尺寸后融合,从而增强目标特征表达。实验结果表明,所提算法性能更好,在长沙理工大学中国交通标志检测(CCTSDB)数据集上的平均准确率均值(mAP)可达96.20%。相较于FasterR-CNN、YOLOv3、CascadedR-CNN检测算法,所提算法拥有具有更好的实时性和更高的检测精度,对各种环境变化具有更好的鲁棒性。

单块嵌入式GPU下对街景图像的实时分割研究

在有限的计算资源下,现有的语义分割网络无法兼顾实时性和准确性,导致在自动驾驶等实时应用领域上仍无法落地应用。为此,本研究采用先将感兴趣目标定位正确后再做进一步分类的策略,其在不同深度下部署了轻量级注意力机制模块以快速地捕捉到有效的空间特征信息,紧接着特征融合模块能够融合这些兼容性低下的空间特征信息,最后经过边界与内部优化模块以提高分割目标边界的平滑性以及内部的准确性和连续性。实验证明单块Tesla-P100显卡搭载所提出的网络能够胜任大部分实时任务。对于352×480分辨率的Camvid图像输入,网络在76.69帧下仍能达到69.12%的均交并比;对于1 024×2 048分辨率的Cityscapes图像输入,网络在49.90帧下均交并比达到了79.75%;对于720×1 280分辨率的Aeroscapes图像输入,网络在59.53帧下均交并比达到了80.43%。

基于改进ExfuseNet模型的街景语义分割

使用ExfuseNet模型进行街景语义分割时,由于街景图像背景复杂度较高,造成感兴趣类之间的面积占比与分布不均衡,特别是图像中面积占比低且密度低的感兴趣目标,越到网络深层越容易被错误分类,最终导致模型分割性能下降。为解决该问题,文中对ExfuseNet模型进行了改进。为了获取不同尺度的语义信息,在不增加模型参数量的条件下,多监督模块采用不同空洞率的带孔卷积。在下采样特征融合后,立刻采用随机丢弃层来减少模型参数量,提高泛化力。在主输出前采用CBAM注意力机制模块以便更高效地对感兴趣目标类的深度语义信息进行采样,并在多监督模块之后采用类平衡函数来改善数据集Camvid的类不平衡问题。实验结果表明,改进的ExfuseNet模型语义分割效果有明显提升,其均交并比提升到了68.32%,Pole类分类准确率提升到38.14%。

改进YOLOv3的金属表面缺陷检测研究

针对金属表面缺陷检测中目标尺寸小和特征不清晰导致漏检的问题,提出一种改进YOLOv3的金属缺陷检测算法。在YOLOv3网络结构的基础上,将第11层浅层特征与网络深层特征融合,生成一个新的尺度为104×104特征图层,提取更多小缺陷目标特征。加入DIoU边框回归损失,为边界框提供移动方向以及更准确的位置信息,加快模型收敛。利用K-Means++聚类分析数据集上的先验框尺寸信息,筛选出最优的AnchorBox,使定位更加精准,降低网络损失。将改进后的算法与其他检测算法在NEU-DET数据集上进行检测性能对比。实验分析表明改进后的YOLOv3平均检测速率为31.6 frame/s;平均检测精度为67.64%,比YOLOv3提高了7.49个百分点,相较于FasterR-CNN等算法也有较大的检测精度优势。结论表明,改进后的YOLOv3可以使小缺陷目标的位置信息和精度更加准确。

基于优化YOLOv4的主要电气设备智能检测及调参策略

基于无人机和巡检机器人搭载的多光谱成像检测是高压设备非接触检测的发展趋势,而主要电气设备的识别是其绝缘状态智能诊断的基础。该文建立了绝缘子、均压环、防振锤、套管和导线训练与测试数据库;基于YOLOv4,改进了Mosaic数据扩充算法,使网络误差降低了0.7,识别准确度提高到84.3%;研究了基于边界框回归的交并比(IoU)算法对不同尺度检测目标的影响,提出了对大、小目标分别采用CIoU和GIoU的训练策略;研究了K-means和分层聚类算法对自建数据库的标注值宽高数据聚类效果及检测结果的影响;基于误差、识别准确度和训练速度,研究并优化了YOLOv4的网络参数,改进后的模型训练误差降低了3%,识别准确度提高了0.8%,较好地实现了主要电气设备的识别。该研究可用于多光谱成像电气设备运行状态的现场诊断。

改进YOLOv3和DeepSort的多目标跟踪算法

针对多目标跟踪在遮挡时漏检或ID切换问题,提出了一种基于改进YOLOv3和DeepSort的算法。该算法对YOLOv3用CIOU损失代替原算法中的边界框损失函数,同时用K-means++算法重新聚类选取适合的先验框。采用改进的YOLOv3对目标进行检测,利用卡尔曼滤波进行预测和更新,在级联匹配中用匈牙利算法进行匹配,二次匹配时对未成功匹配及未匹配的检测结果用GIOU匹配。改进后的YOLOv3比原YOLOv3在KITTI数据集上的均值平均精度提高了2.19%,F1-score提高了1.23%,该算法能够在部分遮挡时跟踪目标并保持ID不变。

基于机器视觉的指针式仪表检测

提出了一种基于机器视觉的变电站指针式仪表检测算法。该算法基于YOLO v3神经网络,引入Res2Net残差模块以及采用特征层融合的方式,采用更少的模块和网络层数获取更高的特征提取效率,通过增加空间池化金字塔(spatial pyramid pooling,SPP)模块融合多重感受野,使用GIoU(generalized intersection over union)损失函数代替原有的损失函数。此外,针对数据集的不同,采取k-means++聚类算法重新选择锚点框的尺寸。实验结果证明,在保证精度的前提下,相对于Faster R-CNN和原始的YOLO v3网络,速度分别提升了73.7%和45.8%。

基于金字塔场景分析网络改进的语义分割算法

图像语义分割是图像识别中的一个经典难题,是机器视觉研究的一个热点。但在实际应用中,会出现语义标签预测不准确、所分割对象与背景之间边缘信息损失问题,这已逐渐成为了图像理解的瓶颈。据此,提出了一种基于金字塔场景分析网络(PSPNet)的网络改进结构,在特征学习模块中将输入图在原残差网络(ResNet)的基础上通过在网络内部增加卷积、池化操作,进一步学习各个层次特征,将所学习到的多个低层次特征图与高层次特征图相加,得到新的具有更多空间位置信息的特征图;为得到丰富的上下文信息,利用PSPNet的金字塔池化结构,将特征图中全局上下文信息与不同尺度局部上下文信息相结合,进行卷积和上采样,得到最终预测图。仿真实验结果表明,所改进的方法在PASCAL VOC 2012测试集中平均交并比(Mean Intersectionover Union,MIoU)达到78.5%,较基准算法提升了1.7%。

用于实时语义分割的带孔金字塔注意力网络

针对语义分割任务需要足够大的感受野和空间细节问题,提出了一个带孔金字塔注意力(dilated pyramid attention,DPA)来增大网络的感受野和空间细节,并结合DPA提出了一个用于实时语义分割的带孔金字塔注意力网络(dilated pyramid attention network,DPANet)。在Cityscapes数据集和CamVid数据集上的实验验证了所提模块的有效性和网络的优越性,该网络在Cityscapes验证集上的平均交并比可达76.51%,在输入图片尺寸为1024×2048时网络速度可达49帧/s。

结合上下文注意力的卷积自校正图像语义分割

针对现有图像语义分割中存在小目标对象分割精度不高等问题,提出一种结合上下文注意力的卷积自校正图像语义分割模型。使用上下文注意力机制挖掘局部区域内细粒度特征,结合上下文循环神经网络和残差学习充分挖掘图像的深层隐含语义特征;构建辅助分割模型,在给定图像和边界框注释的情况下生成每像素的标签分布,提出卷积自校正模型,实现分割模型的动态调整。基于3种数据集对所提模型的分割精度进行实验论证,实验结果表明,所提模型的分割精度与分割效果均明显高于其它模型,具有良好的泛化能力。

基于Faster RCNN的交通目标检测方法

针对交通道路中的目标检测问题,提出了一种基于锚点聚类、全锚点训练策略及强化交并比(SIoU)的交通目标检测方法(T-Faster RCNN)。首先,通过一个基于交并比距离的K-means聚类获取交通目标的宽高在比例和尺度两个几何属性的先验知识,生成锚点边界框;其次,将分类损失与焦点损失相结合进行全锚点训练;再次,基于两个边界框所构成的最小闭包生成SIoU,用于筛选建议。在KITTI数据集上进行的对比实验表明本文方法比Faster RCNN的mAP提高了14.4%。

改进的全局卷积网络在路面裂缝检测中的应用

针对传统裂缝图像分割方法不能准确提取混凝土表面裂缝的难题,提出了一种改进的轻量级全局卷积网络的路面裂缝图像分割模型。根据深度卷积网络原理,使用大卷积核对裂缝图像进行分类和定位,针对裂缝特征构建轻量级的语义分割MobileNetv2-GCN模型。实验对比结果表明,该模型在三个公开裂缝数据集上都表现出优越的性能。采用中轴骨架算法提取语义分割后的裂缝骨架,计算裂缝平均宽度的物理值,其实验结果具有较高的准确性,可为公路健康检测提供可靠的数据支持。

基于注意力机制的遮挡行人检测算法

针对真实场景中因行人相互遮挡难以被精确检测的情况,提出一种基于注意力机制的特征提取增强检测算法。首先,通过添加注意力模块学习特征通道间关系和特征图空间信息,增强对行人目标可视区域的特征提取。其次根据行人数据的实际尺寸,采用k-means++算法对行人标注进行聚类,确定锚框(anchor)大小及比例。利用距离交并比损失函数(DIOULoss)设计检测器的损失函数,使得检测框的回归更关注候选框与真实框的交并比与两框的中心距离。最后使用新设计的非极大值抑制算法(DSoft-NMS)保留更精确的预测框。所提方法在CityPersons和WiderPerson数据集上进行了实验,结果表明该方法在遮挡行人检测方面具有更高的检测精度,同时网络结构简单,方便后续研究。