基于YOLOv5和Mask-RCNN组合模型的社交媒体内涝灾害分析

由于缺少淹没实测数据,针对城市市区淹没深度测量数据需求,基于社交媒体与深度学习技术,探索根据社交媒体用户上传信息提取洪水淹没信息的新方法.研发基于YOLOv5与Mask-RCNN组合模型的实例分割算法,制作轿车众多关键部位的识别数据集.根据模型训练结果实现全新的市区淹没事件的淹没高度提取方法.通过输入淹没图像对城市内涝中淹没点位与淹没深度进行预测,与淹没重演模型得到的数据进行比较.基于模拟淹没实验来制作验证数据集,验证该方法的可行性.结果表明,所研发的YOLOv5与Mask-RCNN组合模型的纳什效率系数为0.98.使用郑州市“7·20”城市内涝的实际社交媒体图像进行可靠性验证.结果表明,所提方法能够为城市市区内涝淹没过程提供有效数据来源.

基于SE-Mask-RCNN建筑遗产识别与空间可视化分析

传统建筑是中国宝贵的建筑遗产,承载着优秀的民族建筑文化,是反映城市特色风貌的重要指标。现阶段深度学习识别建筑物的技术相对成熟,但使用街景图片识别建筑遗产并进行地图可视化展示的研究较少,因此,本研究基于Mask-RCNN(mask region-based convolutional neural network)模型,融合SE(squeeze and excitation)注意力机制,提出一种基于SE-Mask-RCNN识别街景图片中建筑遗产的方法。首先,通过路网数据获取百度街景图片,制作数据集。其次,在模型的残差网络(residual network,ResNet)中引入SE注意力机制;并与已有相关方法 U-net(u-shaped network)、全卷积网络(fully convolutional network,FCN)、Mask-RCNN三种模型进行实验对比评价。最后,使用本方法识别研究区域内的街景图片,形成可视化地图,分析建筑遗产在空间上的分布情况。结果表明,本方法可以有效识别城市中的建筑遗产,识别结果较Mask-RCNN、U-Net、FCN模型分别提高了2%、3.1%、4.7%,证明了本方法对城市中建筑遗产的识别具有可靠性和有效性。研究成果可为建筑遗产保护及现状调查提供依据。

基于优化Mask-RCNN算法的遥感飞机目标检测

针对传统的图像检测算法在遥感领域中存在的问题,将改进的Mask-RCNN检测算法应用于遥感领域。通过优化Resnet特征提取网络,提高算法的特征提取能力;通过改进NMS非极大值抑制网络,优化区域推荐网络。并在自建的遥感飞机数据集上验证算法的稳定性以及有效性。经检测,改进的算法能够提升遥感图像中飞机的检测精度,并且有效降低了飞机目标的误检和漏检问题。

基于Mask-RCNN的金属缺陷识别系统设计

在传统的工业生产中,特别是铸造或焊接的生产过程,对金属件的缺陷识别是非常重要的。传统的人工缺陷识别程序通常耗时且容易出错。然而,通过引入智能化缺陷识别系统,可以提高检测效率,满足生产高质量产品的需求。文中提出了一种基于Mask-RCNN模型的X射线无损检测缺陷识别系统。该系统使用客户-服务器模式,由客户端上传原始图片,服务器调用Mask-RCNN模型将原始图片进行缺陷识别,返回识别缺陷后的图片给客户端,在客户端上通过掩模透明化功能进行缺陷识别结果,并分析比对。该系统以Mask-RCNN模型进行缺陷识别,完成了缺陷识别工作,解决了传统人工缺陷识别程序易出错、耗时多的问题,并提升了铸件或焊接件的缺陷检识别效率和可靠性,解放了执行缺陷识别工作质检人员的生产力。

基于改进Mask-RCNN算法的作物害虫分类识别

智能虫情测报灯对农业生产中及时察觉虫害、虫灾问题有重大作用,准确的害虫分类识别为虫情测报提供可靠数据支撑的关键。该研究对智能虫情测报灯所需核心识别算法进行改进,针对分类目标多尺度、存在多种相似非目标害虫干扰、易产生目标粘连等问题,提出一种基于改进Mask-RCNN(mask region-based convolutional neural network)模型的害虫图像智能识别模型。该模型使用DeAnchor算法改进Mask-RCNN的锚框引导机制,使用NDCC(novelty detection consistent classifiers)训练分类器进行联合分类和检测,改善非目标杂虫的误识别问题。改进后模型对无杂虫、不同虫体密度图像的识别准确率最高达到96.1%,最密集时可达90.6%,在仅有非目标的图片识别中,误检率降至9%,非目标与目标共存且密度为40虫/图的误检率降至15%。试验表明,该文所提模型在现有分类模型的基础上,增强了对密集区域的检测能力,改善了非目标误识别问题,在实际检测环境下的害虫分类识别精度更高,可为虫害防治工作提供数据参考。

不同层数的Mask-RCNN模型自动检测成釉细胞瘤效能的比较

目的:基于人工智能深度学习,比较Mask-RCNN不同层数的ResNet模型在成釉细胞瘤CT图像检测中的效能。方法:回顾性收集2018年4月~2020年8月福建医科大学附属第一医院成釉细胞瘤患者的CT影像数据,按照标准将79名患者纳入研究。经过预处理后,共得到3566张图像,按照8∶1∶1的比例将其随机分为训练集、验证集以及测试集。采用ResNet-18、ResNet-50和ResNet-101模型进行训练,实现肿瘤的自动检测并通过Dice系数、平均精确度AP及检测时间等评价指标进行分析。结果:与ResNet-18及ResNet-50相比,ResNet-101模型自动检测的效果最好,其Dice系数为0.87,平均精确度AP(IOU 0.50∶0.95)为0.74。但该模型所需的检测时间最长,需要0.33 s。结论:不同层数的Mask-RCNN模型均可较好地实现对成釉细胞瘤的自动检测诊断,其中ResNet-101检测效果最好,但相应地需要更长的时间。

基于Mask-RCNN的无人机影像白喉乌头检测

白喉乌头(Aconitum leucostomum)是伊犁的主要毒害草之一。快速精准识别白喉乌头可为监测其分布和扩散提供必要的数据和技术支持。本研究利用无人机影像获取白喉乌头影像并构建数据集,分别采用深度残差网络ResNet50和ResNet101提取特征,应用深度学习目标检测算法Mask-RCNN对白喉乌头自动识别。结果表明,通过对比测试集的检测精度,ResNet50的平均精确度(mAP)最高,达到66.0%,ResNet101的mAP最低,为65.3%,ResNet50网络在检测白喉乌头的性能表现优异。Mask-RCNN应用于无人机影像识别白喉乌头,实现白喉乌头的自动检测切实可行。

基于Mask-RCNN与SFM的单目视觉长方体三维测量方法

为解决基于运动结构恢复(Structure from motion,SFM)多视角拍摄的局限性,以实现自动化三维测量效果,本文提出了一种可用于长方体三维测量的基于Mask-区域卷积神经网络(Mask-region convolutional neural networks,Mask-RCNN)和SFM的单目视觉测量方法。以箱体三维测量为例,该方法包括测量点提取、转换矩阵计算和三维映射测量三个部分,仅需一次标定获取内部参数,利用深度学习技术实现了单视角自动化三维测量,避免复杂重建的同时降低了视觉测量方法的应用要求。实验结果表明,该方法在棋盘格标志物下获得测量结果的相对标准不确定度在6%以内,在箱体自带标志物下获得测量结果的相对标准不确定度在8%以内。

一种基于Mask-RCNN的转辙机工作组件低复杂精准测距算法

为实现对转辙机工作组件接入距离的高精度智能检测,本文提出一种在Mask-RCNN基础上针对转辙机工作组件的低复杂度精准测距算法。首先,通过Mask-RCNN对转辙机感兴趣区域进行识别与初分割,并在此基础上利用交互迭代算法,对感兴趣区域进行二次精准分割。然后,通过顶点映射原理,建立变形图像的三维投射路径,生成仿射矩阵,完成畸变区域的图形矫正。最后,通过拟合线性距离变换方程,对计算距离进行比例缩放,获取精准的实际距离。实验结果显示,本文算法可在复杂环境下对多型号转辙机的工作组件进行精准测距,平均单张图片的计算用时0.8 s,测量精度可达到毫米级别。

基于Mask-RCNN算法的无人机巡检影像船只目标检测方法研究

为了进一步保护水库饮用水源地一级保护区的水质安全,采用测绘无人机手段对水库进行周期性无人机航拍巡检,进而对无人机巡检影像数据中水库船只非法捕捞、非法养殖违法特征目标智能识别、提取,提高水库生态环境检测与管理效率。本文基于卷积神经网络思想,提出了一种基于Mask-RCNN算法的无人机水库巡检影像船只目标检测方法,采用迁移学习方法,利用COCO训练集对船只目标影像进行预训练,再根据本文创建的样本数据集进行训练得到训练模型。通过对增强训练样本并采用ResNet+FPN作为特征提取器得到最优化的无人机巡检影像船只目标检测模型。在不同场景图像中,可以检测识别出水库违法特征目标,实验结果达到了预期要求,提高了无人机水库巡检影像中违法特征目标识别的准确性。

基于Mask-RCNN的单轨受电弓滑块图像分割方法

在单轨受电弓滑块厚度检测系统中,正确检测滑块厚度的前提是能在原图中正确定位滑块及标志物位置,但环境变化及标志物颜色的不同,为滑块及标志物的准确定位带来了复杂度。本文提出了一种基于Mask-RCNN的单轨受电弓滑块图像分割算法。该算法采用ResNet-FPN架构并添加了并列的Mask层,提升了算法的特征挖掘及表达能力;使用ROI Align替换原ROI Pooling层降低不同尺寸ROI特征图转换间的量化误差,提升特征到原图之间的映射精度即图像分割精度。在集中验证本文算法的准确度,其中受电弓与滑块的识别率达到100%,分割精度指标平均交并比(Mean IoU)为97.2%。

基于改进Mask-RCNN方法的地面低空机动目标追踪方法研究

在遥测跟踪应用中,目标在近距离地面或低空阶段的自跟踪较为不稳定,且由于机场地面存在较多相同类型目标,通过标校电视的视频信号进行光学自跟踪易受地面背景及相同类型目标的干扰。据此,文章提出了基于改进Mask-RCNN方法,通过标校电视视频信号识别并跟踪目标。提出了相似数据预训练网络权值、现场选取目标快速修正网络部分权值修正权值的方法,用以解决前期针对该目标训练数据不足的问题;提出了基于目标位置递归最小二乘拟合结果的目标防混淆方法,对Mask-RCNN输出的多个候选目标进行选择以防止相似同类目标同跟踪目标混淆。通过实验证明,该方法对于地面机动目标具有较好的跟踪效果,能够较为有效的提升目标跟踪的扛混淆效果。

超声图像中复合材料褶皱形态的Mask-RCNN识别方法

复合材料在制造和使用过程中不可避免地会产生褶皱缺陷,因其形态变化多样,形变程度较小,人工辨认存在一定障碍,容易出现错漏情况.为提高检测效率,提出利用Mask-RCNN(Mask region-based convolutional neural net works)目标检测算法对复合材料超声图像中不同形态的褶皱缺陷进行检测并分类.制备含有不同形态褶皱缺陷的碳纤维复合材料层合板,利用超声相控阵采集全矩阵数据;通过波数成像算法得到复合材料层合板纵切面图像,根据地质层中褶皱的几何学特征,将复合材料层合板中存在的不同褶皱分为三类,进而建立褶皱形态与材料损伤程度之间的关系;提出Mask-RCNN算法用于褶皱缺陷的自动检测并分类,该算法中语义分割的引入可显示褶皱缺陷的位置和形状.实验结果表明:Mask-RCNN对不同形态褶皱识别的准确率分别达到92.1%,90.9%和93.3%,褶皱分类识别准确、有效.为实现复合材料层合板数据采集-成像-缺陷判别一体化、自动化提供了理论支撑.

一种基于Mask-RCNN图像分割的头足类动物角质颚色素沉积量化方法

为自动化精确获取头足类动物的角质颚色素沉积占比,采用Mask-RCNN深度学习的神经网络模型,实现对角质颚及其色素沉积的图像识别和分割,提出了一种基于面积获取的自动化测量角质颚色素沉积占比新方法。首先对角质颚及其色素沉积进行轮廓标注,将所得结果转化成训练集导入到残差网络(Resnet50)中,提取角质颚及其色素沉积的数字特征。基于特征金字塔网络(Feature Pyramid Networks,FPN)将各层特征加以融合;再利用区域候选网络(Region Proposal Network,RPN)对特征加以学习并生成候选框;最后,对候选框进行非极大值抑制(Non-Maximum Suppression,NMS),得到角质颚和色素沉积的候选区域,从而实现了角质颚色素沉积占比的自动化精确获取。结果显示:利用Mask-RCNN土颚分割精度为93.60%,色素沉积精度为92.47%,下颚为91.78%,色素沉积为88.78%。研究表明,Mask-RCNN深度学习网络模型可以较好地测量角质颚及其色素沉积的量化占比,本研究为头足类摄食动物的研究提供参考。

优化Mask-RCNN的高分遥感影像建筑物提取

针对从背景复杂、目标密集的高分遥感影像上提取建筑物精度较低的问题,提出了一种基于优化Mask-RCNN的高分遥感影像建筑物提取算法。优化算法以ResNet-50为特征提取主干网络,通过添加更多的横向连接以及自下而上、自上而下路径的方式优化FPN,提高算法的特征提取能力,并利用Soft-NMS优化原始NMS算法改善提取结果。利用自制的重庆市渝北区高分遥感影像建筑物数据集,采用交叉验证方法验证其在不同训练集与测试集上的稳定性,同时比较优化前后算法的提取性能。实验结果表明,优化算法平均精确率为88.4%,对比原始算法提高了4.9个百分点,对实现遥感影像建筑物高精度自动提取具有一定的参考意义。

基于改进Mask-RCNN的电力线路识别方法

针对无人机在电力输电线路巡检过程中,因空巡视角受风吹晃动导致线路难以完整呈现在巡检视频中,以及线路直径较小、观察距离远等限制,造成了巡检影像中线路识别准确率低下的问题.针对这一问题,提出了一种基于减帧的改进Mask-RCNN方法,该方法以相邻帧作为对比模板寻找图像差异从而提高识别准确度,并且通过减少运算过程中的数据处理量以减少数据处理时间,提高运算效率.在以复杂背景下导线为目标的试验中,本文方法的识别准确率与CPU使用率综合性能明显优于其他方法.

SE-Mask-RCNN:多参数MRI前列腺癌分割方法

为了从多参数磁共振(mp-MRI)的前列腺区域中自动提取前列腺癌病灶区域,提出新的深度卷积神经网络模型SE-Mask-RCNN.在特征图上搜索定位包含病灶的候选区域,基于候选区域实现病灶的精细分割.为了利用mp-MRI中的互补信息,通过2个并行卷积网络分别提取表观扩散系数(ADC)和T2加权(T2W)图像的特征图后进行融合,使用挤压与激励块自动提升融合特征图中的有效特征并抑制无效特征.在收集得到的140例数据上进行实验.结果表明,使用SE-Mask-RCNN得到前列腺癌病灶分割Dice系数为0.654,敏感度为0.695,特异度为0.970,阳性预测值为0.685.与U-net、V-net、Resnet50-U-net和Mask-RCNN等模型相比,SE-Mask-RCNN能够有效提升mp-MRI中前列腺癌病灶区域的分割精度.

基于Mask-RCNN海上升压站数字式仪表读数的自动识别算法

海上升压站采用挂轨机器人开展巡检作业,利用机器视觉手段自动识别数字式仪表读数,替代人工记录。提出了一种基于Mask-RCNN深度学习方法的数字仪表读数自动识别算法。将不同类型的数字仪表原始图像制作成数据集,利用深度学习算法进行训练,根据损失函数变化曲线对算法进行参数优化得到训练后的模型,再进行数字仪表图像的识别分析。采用灰度世界算法和霍夫变换等算法进行图像预处理,可有效改善数字识别的准确度。最后,实验对比了YOLOv3和Mask-RCNN深度学习算法的识别性能,结果表明前者具有较高的检测速度,后者具有更高的准确率。后者的识别率为99.52%,满足海上升压站远程监控对数字仪表读数正确率高的要求。

基于Mask-RCNN的自然场景下油茶果目标识别与检测

针对我国油茶果采摘过程中存在的自动化水平落后、采摘效率低、适采周期短的现状,应用于机器人收获技术的机器视觉技术受限于真实场景中复杂背景干扰从而导致识别精度较低的问题。以自然场景下的油茶果为研究对象,提出一种基于Mask-RCNN的自然场景下油茶果目标识别与检测算法,首先获取油茶果图像并建立数据集,利用ResNet卷积神经网络提取油茶果果实图片的特征,获得果实目标分割结果,再采用RPN对所得到的特征图进行操作,并增加全连接层,提取每个样本mask像素面积,并对目标类别进行预测。利用测试集分别测试油茶果的分割网络模型及目标识别算法,结果表明,网络模型的分割准确率为89.85%,油茶果目标识别的平均检测精度为89.42%,召回率为92.86%。本算法能够自动检测油茶果目标,并有效降低不同光照情况下叶片与花苞遮挡、果实重叠、果实色泽等因素干扰,为自然场景中果实自动化采摘提供可靠的视觉支持。

基于改进Mask-RCNN的遥感影像建筑物提取

由于遥感影像中建筑物种类繁多且与周围环境信息混淆,传统方法难以实现建筑物的准确高效提取.本文提出了一种基于改进Mask-RCNN的建筑物自动提取方法,利用PyTorch深度学习框架搭建改进Mask-RCNN网络模型架构,在网络的设计中添加了路径聚合网络和特征增强功能,通过监督和迁移学习的方式对Inria航空影像标签数据集进行多线程迭代训练与模型优化学习,实现了建筑物的自动精确分割和提取.基于不同开源数据集,分别与SVM、FCN、U-net和Mask-RCNN等建筑物提取算法进行对比,实验表明,本文方法可以高效准确、高效地提取建筑物,对于同一个数据集,提取结果的mAP、mRecall、mPrecision和F1分数这4个评价指标均优于对比算法.