基于改进掩码-区域卷积神经网络的混凝土病害实例分割

为对混凝土病害图像进行更精确的实例分割,提出改进掩码-区域卷积神经网络(Mask Region Convolution Neural Network,Mask-RCNN)。该网络采用轻量级的可移动网络(MobileNetV2)代替原始Mask-RCNN中卷积层过大的主干网络——残差网络(ResNet101),加入路径聚合网络(PANet),以提高Mask-RCNN提取浅层特征信息的能力。为验证改进Mask-RCNN的识别精度及其在实际工程中的可行性,首先构建多类混凝土病害图像数据集,利用K-means聚类算法确定最适合该数据集的先验边界框的长宽比,然后对比改进Mask-RCNN与原始Mask-RCNN、其它主流深度学习网络对混凝土五类病害(裂缝、露筋、剥落、白皙和空洞)的识别结果;最后利用无人机采集到的钢筋混凝土桥梁病害图像作为测试集进行测试。结果表明:改进Mask-RCNN在提高计算速度的同时能更准确地定位病害,减少了误检和漏检,识别精度高于原始Mask-RCNN及其它深度学习网络;改进Mask-RCNN可以识别无人机拍摄的未经训练的新的混凝土病害图像,识别精度满足实际工程需求。

应用掩码区域卷积神经网络的文本检测模型

要:提出一种基于掩码区域卷积神经网络的文本检测模型。首先从扩大模型感受野并尽可能保持模型效率的角度出发,针对残差神经网络中的瓶颈结构进行优化,构建基于结构优化的残差神经网络(residual network based on structural optimization,ResNetSO);然后去除冗余特征以提高融合后特征质量,并将空间注意力机制应用于特征金字塔网络,构建了基于下层特征指导的特征金字塔网络(feature pyramid network based on lower feature guidance,FPNetLFG)。在两个公开数据集上的实验结果表明:包含ResNetSO和FPNetLFG两个模块的模型应用在级联区域卷积神经网络、递归特征金字塔和可切换空洞卷积的目标检测模型中,分别可以带来0.8%和0.3%左右的F1值提升,从而说明了该方法的有效性和普遍适用性。

复杂背景下基于改进Mask R-CNN的路面裂缝检测算法

裂缝检测对路面养护具有重要意义,深度学习在该领域取得一定成效。然而,在实际应用中,图像中的噪声纹理背景、复杂的裂缝拓扑结构和图像采集设备给裂缝检测带来了一定的挑战。为了提升在复杂场景下的路面裂缝检测精度,提出了一种改进掩码区域卷积神经网络(Mask R-CNN)模型的实例分割算法。使用ConvNeXt-T替代Mask R-CNN的ResNet50框架作为特征生成网络,在自下而上捕获长期依赖的同时保持裂缝特征多样性;设计高维特征提取模块(HFEM)获取高级语义信息,消除背景噪声;引入感受野模块(RFB),扩大感受野,增强多尺度特征信息交互能力。在多结构裂缝图像(MSCI)数据集上进行对比实验,结果表明,提出的改进方法能显著提升Mask R-CNN模型的分割精度,优于经典的Cascade Mask RCNN,最佳模型F1得分84.15%,相较原算法提高了6.29%。在DeepCrack数据集上进行泛化性实验,表现优异。

基于改进Mask-RCNN的飞行器结构裂纹自动检测方法

计算机视觉的裂纹自动识别算法在飞机结构疲劳试验中具有较好的工程应用前景,但由于飞机结构构型多样及疲劳试验环境复杂,传统方法的裂纹识别准确率难以满足要求。针对此问题,设计了一种基于关键结构定位的检测策略,并以目标分割算法掩码-区域卷积神经网络(Mask-regionconvolutionalneuralnetwork,简称Mask-RCNN)为基础对模型架构和非极大值抑制模块进行了适应性改进,提出了一种裂纹自动识别方法。该方法具有主动避开干扰因素、对图片质量要求较低的特点,同时利用Mask-RCNN将像素信息引入参数优化的特性,具备更高的识别准确率。在元件疲劳试验中,该方法对铆钉、裂纹的识别准确率分别为100%和87.5%,相较于现有方法优势显著。

带式输送机上散状物料堆积视频实时检测

针对非接触式散状物料堆积检测方法存在检测速度慢、在图像模糊场景下检测精度低、深度学习模型内存需求大等问题,提出了一种基于轻量化Mask-RCNN(掩码-区域卷积神经网络)的带式输送机上散状物料堆积视频实时检测方法。首先,通过暗通道先验算法对采集的图像进行预处理,以减少运输装载过程中粉尘造成的图像雾化现象,提高图像边缘特征。针对传统的Mask-RCNN的主干网络ResNet无法满足在嵌入式平台上对散状物料堆积进行实时检测的需求问题,将去雾预处理后的图像输入到基于MobileNetV2+特征金字塔网络(FPN)的主干网络中进行特征提取,生成特征图,并对主干网络进行轻量化设计,以部署在嵌入式平台上,对实时采集图像数据进行实例分割。为更精确地找到分割物体的边缘,提出了在传统Mask-RCNN的掩码分支中添加边缘损失的方法,利用全卷积网络层生成掩码,结合Scharr算子构造边缘损失函数,融合目标分类、边界框回归、语义信息得到实例分割图像。最后,通过判断散状物料堆积掩码内的像素值是否超过预设阈值实现散状物料堆积检测。实验结果表明:所提方法的模型内存需求降低到以ResNet101为主干网络的模型的1/5,经图像去雾预处理后的平均精度均值提高了8%,单张图像平均检测时间为0.56 s,检测精度可达91.8%。

Mask RCNN在雾化背景下的船舶流量检测

基于掩码区域卷积神经网络(Mask region-convolutional neural network,Mask RCNN)模型检测海域卫星航拍图片中的船舶流量检测,实现雾化与模糊背景下的自动检测船舶数量与船只定位.基于搭建的Mask RCNN网络模型进行训练,依据输出的船只位置,与准确位置对比,不断调整模型参数提升准确度,再用训练好的模型参数对测试集中的图片进行检测.训练后进行测试的结果为:重叠度(intersection over union,IOU)取0.5时,边界框位置准确度达85.4%,船只数量检测准确度高达89.9%.上述结果表明,Mask RCNN网络模型可实现高精度的船舶流量监测.

基于改进Mask RCNN和Kinect的服务机器人物品识别系统

服务机器人在近年来得到了快速的发展,其应用的算法也在不断地更迭,目标检测算法便是其中之一。在保证目标检测精度的前提下,目标检测速度决定着机器人目标物抓取的效率。因此将远距离小目标场景作为测试场景,改进现有网络模型,目的是在保证检测精度的前提下提升检测速度。掩码区域卷积神经网络(Mask RCNN)是目前目标检测领域应用较广的算法,通过对其网络结构研究发现,掩码分支和过多的全连接层会占用大量网络检测时间;同时,Mask RCNN提取到的特征图具有较高的维度,其会占用大量的计算内存,产生大量的计算任务。为此,Mask RCNN进行改进,如去掉掩码分支和多余的全链接层;将头部轻量化区域卷积神经网络(LH-RCNN)引入到Mask RCNN中;调整区域建议网络(RPN)中锚点(Anchor)的比例。最后,本文在带有KinectⅡ的家庭服务机器人平台上对改进的Mask RCNN进行测试,测试结果表明,与原始的Mask RCNN相比,改进的Mask RCNN在保证检测精度的同时,可以大幅提高算法运行的速度,检测时间缩短2倍以上,提高服务机器人目标抓取任务的效率。

一种基于并行FCN的室内视觉定位算法

对传统的基于视觉物体识别的室内定位算法中物体识别不准确导致定位精度低的问题,提出了一种改进的并行全卷积神经网络(Parallel-Fully Convolutional Neural Network,P-FCN)物体识别算法。该改进算法通过将传统FCN网络并行化,实现在样本不平衡的训练情况下,网络能够对图像中的物体进行像素级的准确分类,从而提高物体轮廓的识别精度。与已有的区域卷积网络-模板匹配联合检测(Parallel R-CNN Detection and Template Matching Refinement,PDTR)算法和传统FCN算法相比,并通过相同验证数据集进行验证,实验结果表明,所提改进算法提高了图像中物体识别的准确率、轮廓识别精度和粗定位准确性,进而提高了最终的定位成功率和定位准确率。