基于改进Mask RCNN的道路信息检测算法

针对目前目标检测算法应用于道路信息检测精度低、速度慢、小目标检测效果差的问题,提出一种基于改进掩膜区域卷积神经网络(mask region convolutional network, Mask RCNN)的道路信息检测算法。引入深度可分离卷积提升检测速度;引入卷积注意力模块(convolutional block attention module, CBAM)与双向特征金字塔网络(bidirectional feature pyramid network, Bi-FPN)提高模型精度;借鉴迁移学习思想,基于PASCAL-VOC2012数据集对模型预训练,提高模型学习特征的能力;基于自制道路信息数据集完成模型正式训练。实验结果表明,使用改进方法优化后的基于ResNet50的Mask RCNN算法整体性能较好,平均精度均值达到95.2%,较原算法提高了4.5%,检测帧率达到24.8帧/s,较原算法提高了8.3帧/s,且小目标漏检现象变少,证明改进方法可以提高道路信息检测算法的检测精度、检测速度与小目标检测性能。

基于Mask R-CNN卷积神经网络的虹膜分割

针对虹膜图像中存在眼镜遮挡、模糊、角度偏差等不同噪声因素,我们设计了一种基于Mask R-CNN的卷积神经网络(convolutional neural network,CNN),命名为Mask-INet,用于虹膜分割.该网络在特征提取阶段为特征金字塔添加了一条自底向上的路径,既提高了底层到顶层特征的定位信息,增强语义信息融合,又进一步加快了底层到顶层的传播效率,有效提升对虹膜特征提取的准确性.为了进一步挖掘特征图中的特征信息,在掩模预测分支阶段,我们引入上采样和CBAM网络(convolutional block attention module),利用上采样提高特征图的空间分辨率,利用CBAM网络让特征图中的显著信息更加显著,增强对特征的判别性.该方法在NIR-ISL 2021比赛提供的虹膜数据集进行了验证.在相同实验条件下与该赛事的冠军相比,该方法的各项指标均优于其网络.与基线Mask R-CNN相比,该方法的Dice相似系数、平均交并比、召回率分别提升了8.53%、11.97%、8.88%,提升了虹膜分割效果.

基于改进PSPNet的掩模优化算法

针对现有深度学习方法中掩模生成质量较低的问题,提出了一种改进的PSPNet掩模优化模型,能够生成较高质量的掩模。保留PSPNet中提取网络ResNet50优秀的残差设计,在此基础上增加卷积注意力机制模块,使模型更加关注掩模边缘,将边缘信息充分的保留至下一层,便于最后上采样生成掩模。上采样过程中只使用双线性插值会导致冗余信息的增加,将双线性插值和像素重组融合,在提高上采样过程的分辨率的同时,保留更多特征,不增加冗余信息,提高掩模生成的质量。最后,加入DICE损失函数,与传统回归损失MSE结合,联合优化模型。结果表明:改进后网络较改进前掩模质量提升了7.1%,同时生成的掩模冗余更少,拐角更加顺滑,便于制造。

基于深度学习的儿童手骨X光图像骨龄评估方法

目的提出一种基于深度学习的端到端儿童手骨X光图像骨龄评估框架,以实现高精度全自动骨龄评估。方法由手骨分割网络和骨龄回归网络组成模型,手骨分割网络采用Mask-RCNN分割出手骨区域,分割后的手骨区域直接输入回归网络进行骨龄评估。其中,回归网络以Xception为基础模型进行改进,在Xception输出后接入卷积块注意模块,以从通道和空间两个独立的维度细化特征映射,来获取更有效的特征;同时,将图像和性别信息作为网络的双输入,通过增加性别信息平衡不同性别的手骨发育差异。在RSNA儿童骨龄挑战数据集上评估模型。结果预测骨龄的平均绝对误差为4.96个月,超过6个研究团队所用骨龄评估方法的精确度。结论通过分割手骨区域、嵌入卷积块注意模块并关联性别信息,能提高骨龄评估的精确度,可应用于实际临床评估。

基于改进掩膜区域卷积神经网络的输电线路绝缘子自爆检测

由于背景复杂、目标所占像素比例较小,掩膜区域卷积神经网络(Mask R-CNN)模型对输电线路绝缘子缺陷检测能力不足,该文提出一种改进的MaskR-CNN模型。具体地,首先,在特征提取网络中引入卷积注意力模块(CBAM),分别从通道和空间提升小目标特征保持性;其次,使用全局交并比(GIoU)计算目标间的相似度,提升定位准确性;最后,使用Tversky损失计算掩膜分支的损失,以提升不平衡样本下的检测效果。使用某输电运检中心无人机巡检作业所得具有自爆缺陷的绝缘子照片作为数据集对该模型进行验证,实验结果表明,与原始Mask R-CNN模型相比,该方法的平均精确率AP50:90、AP50和AP75分别提升至0.56、0.79和0.72;与三种经典目标检测算法相比,该算法具有较高的检测精度,模型的分割性能有一定提升,且比原始模型具有更好的鲁棒性,可以满足电力巡检中准确性和快速性的要求。

基于改进YOLOv5的人脸口罩佩戴检测

为对商场、车站等复杂环境中的人脸口罩佩戴情况进行检测,综合考虑目标密集、遮挡和小尺度目标等因素,提出一种复杂环境下基于改进YOLOv5的人脸口罩检测方法。引入改进DenseNet(密集连接卷积网络),提高网络特征利用率以及网络抗干扰能力;增加检测头部参数,对不同尺度特征跨级连接,增强多尺度信息交流,提高网络对小尺度目标的检测性能;将原有损失函数GIoU替换为CIoU,解决模型收敛速度慢的问题。实验结果表明,在人脸口罩佩戴检测任务中,改进YOLOv5算法mAP(平均精度均值)为97.8%,较YOLOv5算法与其它主流算法具有更高的检测精度,对实际场景中的人脸口罩检测任务具有现实意义。

基于MD-CBAM的多样性裂缝图像修复方法

大多数现有的桥梁裂缝图像修复方法为单一目标修复,无法根据孔洞周边的有效信息生成多种合理的填充内容且修复结果存在结构扭曲和纹理模糊的问题。本文提出了一种基于掩膜距离卷积块注意力模块(mask distance convolutional block attention module,MD-CBAM)的多样性裂缝图像修复网络,该方法主要由多样性结构生成器与纹理生成器组成。提出区域结构注意力以降低遮挡区域像素与有效像素的差异性,根据掩膜特征对注意力分数进行平均池化处理,提高模型对遮挡区域的推断能力。设计MD-CBAM模块用以在纹理生成阶段合成高质量的特征,该模块利用特征之间的距离信息与语义信息,有效增强了模型填充大孔洞的能力。实验结果表明,本文方法修复的图像具有更为明确的结构和更加合理的纹理,在各掩膜比例下峰值信噪比(peak signal-to-noise ratio,PSNR)和FID(Fréchet inception distance)均达到最优,其中PSNR在掩膜比例为[0.4,0.5)时增加了0.22—2.38 dB且结构相似度(structural similarity,SSIM)值达到最优。

利用具有注意力的Mask R-CNN检测震害建筑物立面损毁

震后建筑物损毁信息是灾情快速评估和应急救援的重要决策依据之一。针对传统的建筑物损毁遥感检测技术只关注于顶面信息,导致众多顶面结构完好而中间层、底层倒塌或崩裂的损毁建筑物处于检测盲点的问题,提出了一种融合引入注意力机制的深度学习实例分割模型和图像多尺度分割算法进行震后建筑物立面损毁检测的方法。首先,利用卷积块状注意力模块(convolutional block attention module,CBAM)改进掩模区域卷积神经网络(mask region-based convolutional networks,Mask R-CNN)模型实现了复杂建筑物立面背景中的损毁信息提取;然后,基于建筑物立面影像多尺度分割结果,利用多数投票规则实现了损毁检测结果的后处理优化。实验结果表明,相比传统损毁检测方法,所提方法能够更有效地实现震后建筑物立面损毁信息的精准定位,总体准确率可达到89.15%。

嵌入双尺度分离式卷积块注意力模块的口罩人脸姿态分类

目的针对口罩遮挡的人脸姿态分类新需求,为了提高基于卷积神经网络的人脸姿态分类效率和准确率,提出了一个轻量级卷积神经网络用于口罩人脸姿态分类。方法本文设计的轻量级卷积神经网络的核心为双尺度可分离注意力卷积单元。该卷积单元由3×3和5×5两个尺度的深度可分离卷积并联而成,并且将卷积块注意力模块(convolutional block attention module,CBAM)的空间注意力模块(spatial attention module,SAM)和通道注意力模块(channel attention module,CAM)分别嵌入深度(depthwise,DW)卷积和点(pointwise,PW)卷积中,针对性地对DW卷积及PW卷积的特征图进行调整。同时对SAM模块补充1×1的点卷积挤压结果增强其对空间信息的利用,形成更加有效的注意力图。在保证模型性能的前提下,控制构建网络的卷积单元通道数和单元数,并丢弃全连接层,采用卷积层替代,进一步轻量化网络模型。结果实验结果表明,本文模型的准确率较未改进SAM模块分离嵌入CBAM的模型、标准方式嵌入CBAM的模型和未嵌入注意力模块的模型分别提升了2.86%、6.41%和12.16%。采用双尺度卷积核丰富特征,在有限的卷积单元内增强特征提取能力。与经典卷积神经网络对比,本文设计的模型仅有1.02 MB的参数量和24.18 MB的每秒浮点运算次数(floating-point operations per second,FLOPs),大幅轻量化了模型并能达到98.57%的准确率。结论本文设计了一个轻量高效的卷积单元构建网络模型,该模型具有较高的准确率和较低的参数量及计算复杂度,提高了口罩人脸姿态分类模型的效率和准确率。