基于YOLOv5和Mask-RCNN组合模型的社交媒体内涝灾害分析

由于缺少淹没实测数据,针对城市市区淹没深度测量数据需求,基于社交媒体与深度学习技术,探索根据社交媒体用户上传信息提取洪水淹没信息的新方法.研发基于YOLOv5与Mask-RCNN组合模型的实例分割算法,制作轿车众多关键部位的识别数据集.根据模型训练结果实现全新的市区淹没事件的淹没高度提取方法.通过输入淹没图像对城市内涝中淹没点位与淹没深度进行预测,与淹没重演模型得到的数据进行比较.基于模拟淹没实验来制作验证数据集,验证该方法的可行性.结果表明,所研发的YOLOv5与Mask-RCNN组合模型的纳什效率系数为0.98.使用郑州市“7·20”城市内涝的实际社交媒体图像进行可靠性验证.结果表明,所提方法能够为城市市区内涝淹没过程提供有效数据来源.

改进Mask R-CNN的无人机影像建筑物提取

从无人机影像中自动提取建筑物对城乡规划和管理至关重要,然而,在复杂背景干扰和建筑物外观变化很大的情况下给实例提取带来挑战。因此,提出一种改进的Mask区域卷积神经网络(R-CNN)方法用于无人机影像的建筑物自动实例提取。改进方法以ResNet-101作为特征提取网络,在特征融合网络方面,通过添加自底向上的路径增强整个特征层次的定位能力,同时在特征融合中加入空洞空间金字塔池化模块(ASPP)来提高多尺度能力与改善模型性能。在自制建筑物数据集上的综合实验结果表明,与原始的Mask R-CNN方法相比,改进方法的mAP值提高了2.6%,能够很好地实现无人机影像建筑物实例提取。

基于Mask R-CNN和迁移学习的无人机遥感影像杉木单木树冠提取

【目的】利用无人机遥感影像对树冠进行自动化提取,获取高精度树冠信息。【方法】该研究提出一种基于Mask RCNN和迁移学习的无人机影像单木树冠提取方法。首先,选用在Faster R-CNN基础上改进优化的Mask R-CNN实例分割模型,特征提取网络在ResNet50残差网络和ResNet101残差网络二者间选取最优。其次,引入迁移学习与Mask RCNN一起训练,联合迁移学习的导向作用降低训练时间,提高训练精度。【结果】Mask R-CNN模型的总体精度为93.59%,用户精度为65.46%,F1分数为76.05%,平均精度均值为0.31;载入迁移学习后的Mask R-CNN模型在同等训练条件下比原模型的用户精度提升29.53%,F1分数提升19.63%,平均精度均值提升0.21;分别以ResNet50和ResNet101为特征提取网络的Mask R-CNN模型中,ResNet50+Mask R-CNN模型的总体精度、用户精度、F1分数、平均精度均值各为96.94%、95.57%、96.17%、0.54,ResNet101+Mask R-CNN模型的总体精度、用户精度、F1分数、平均精度均值各为96.20%、94.41%、95.19%、0.49;其中载入迁移学习的ResNet50+Mask R-CNN模型在预测东西冠幅、南北冠幅、树冠面积与样方郁闭度的预测决定系数分别为0.87、0.84、0.93和0.83。【结论】本研究提出的基于Mask R-CNN和迁移学习的方法得到了较为精准的树冠参数结果,为无人机遥感影像评估树木资源提供了一种快速高效的解决方案。

基于改进Mask R-CNN模型的粘连烟丝识别方法

为精准识别并高效分割粘连烟丝,提出一种基于改进掩码区域卷积神经网络模型(Mask R-CNN)的粘连烟丝识别方法。首先,采集粘连烟丝图像,通过图像增强操作将数据集扩充到训练模型所需的样本数量;其次,在Mask R-CNN模型的基础上对训练样本中的粘连烟丝图像进行边缘特征提取、分形特征提取,获得更清晰、连续的图像边缘特征信息和纹理特征信息;再次,将原始特征、边缘特征、分形特征进行融合以充分利用不同层次的特征信息,丰富底层特征;最后,通过引入混合注意力机制关注特征图的通道和空间维度,从而提高粘连烟丝识别的效率和准确性。模型性能对比结果表明:基于改进Mask R-CNN模型的识别方法的平均交并比(Avg.MIoU)为85.29%,类别平均像素准确率(Avg.MPA)为84.33%,其能够快速、准确地识别并分割出单根烟丝,识别效果优于Mask R-CNN和DeepLabV3+模型识别方法,可为后续烟丝宽度检测提供技术支持。

基于改进Mask R-CNN的受电弓碳滑板优化检测算法

针对传统受电弓碳滑板检测中检测效率低、检测精度差等缺点,提出一种基于Mask R-CNN的优化改进算法。该算法采用铁道部受电弓损坏评定的新规定及实地的样本数据集,通过改进特征提取算法的网络结构以及优化损失值来提高算法对图像的处理效率,实现受电弓碳滑板缺陷的掩膜准确标注,有效减小受电弓滑板的损毁对电力机车运行的影响。最终通过实验验证该算法对受电弓碳滑板缺陷的检测精度和效率有明显的提升作用。

基于改进Mask R-CNN深度学习算法的隧道裂缝智能检测方法

隧道裂缝检测是避免隧道重大灾害和日常养护的重要工作,但传统人工检测工作量巨大,无法满足实际需求。采用深度学习神经网络Mask R-CNN模型对裂缝进行智能自动检测,避免了人工检测的耗时耗力。通过调整算法参数,优化模型检测结果,获得适用于隧道裂缝检测的Mask R-CNN模型。针对自动识别的裂缝结果,进一步计算其几何特征参数。为充分利用裂缝狭长弯曲特性,体现裂缝走向及基本形态,提出了基于骨架提取和函数拟合思想的裂缝几何特征计算方法。根据裂缝骨架,可获得裂缝走势,计算裂缝长度。通过函数拟合,可得到贯穿裂缝狭长区域的函数,根据函数法向量计算宽度。根据裂缝几何参数计算结果,结合规范规定的须修复裂纹宽度要求,可实现隧道裂缝检测自动预警,为隧道裂缝自动检测提供了技术支撑。

基于掩模提取的SAR图像对抗样本生成方法

合成孔径雷达(synthetic aperture radar,SAR)图像的对抗样本生成在当前已经有很多方法,但仍存在对抗样本扰动量较大、训练不稳定以及对抗样本的质量无法保证等问题。针对上述问题,提出了一种SAR图像对抗样本生成模型,该模型基于AdvGAN模型架构,首先根据SAR图像的特点设计了一种由增强Lee滤波器和最大类间方差法(OTSU)自适应阈值分割等模块组成的掩模提取模块,这种方法产生的扰动量更小,与原始样本的结构相似性(structural similarity,SSIM)值达到0.997以上。其次将改进的相对均值生成对抗网络(relativistic average generative adversarial network,RaGAN)损失引入AdvGAN中,使用相对均值判别器,让判别器在训练中同时依赖于真实数据和生成的数据,提高了训练的稳定性与攻击效果。在MSTAR数据集上与相关方法进行了实验对比,实验表明,此方法生成的SAR图像对抗样本在攻击防御模型时的攻击成功率较传统方法提高了10%~15%。

基于Mask RCNN和视觉技术的玉米种子发芽自动检测方法

种子标准发芽试验中,为获取种子发芽和生长情况,需借助人工定时对种子的发芽率、发芽势、芽长和根长等相关指标进行统计和测量,该测定过程费时费力,且易对发芽的幼苗造成损伤。针对这些问题,该研究基于Mask RCNN(基于区域的卷积神经网络)模型和机器视觉技术设计了一种玉米种子发芽自动检测方法。首先,在玉米种子发芽试验的7 d内,每天采集模型训练和测试所需的图像,并用Labelme工具对种子位置进行标注,再利用标注图像训练种子定位模型;其次,根据模型定位出的玉米种子掩膜区域,设定一个监测种子发芽的椭圆区域,自动识别种子发芽状态;最后,利用骨架提取和深度搜索算法实现发芽种子幼苗主骨架线的提取,通过计算种子掩膜的质心坐标位置,实现芽和根长度的分别统计。结果表明,该方法能够有效识别发芽种子,实现发芽试验中玉米种子的发芽率、发芽势、芽长、根长等指标的自动统计,可为种子发芽试验的自动化管理提供技术参考。

基于改进Gabor算法的遮挡人脸智能识别方法

为提高有遮挡人脸的识别精度,提出基于改进Gabor算法的遮挡人脸智能识别方法。首先,对人脸图像动态范围压缩,并选择反锐化掩模滤波算法展开图像增强处理;其次,利用Gabor滤波器对信息保留较完整、亮度较高的半边脸进行特征提取;最后将提取到的Gabor特征输入到极限学习机中完成遮挡人脸的智能识别。实验结果表明,所提方法对处理遮挡人脸图像具有良好的效果,且其对人脸图像识别具有精准度高、识别时间短等优点。

基于掩码提示与门控记忆网络校准的关系抽取方法

针对关系抽取(RE)任务中实体关系语义挖掘困难和预测关系有偏差等问题,提出一种基于掩码提示与门控记忆网络校准(MGMNC)的RE方法。首先,利用提示中的掩码学习实体之间在预训练语言模型(PLM)语义空间中的潜在语义,通过构造掩码注意力权重矩阵,将离散的掩码语义空间相互关联;其次,采用门控校准网络将含有实体和关系语义的掩码表示融入句子的全局语义;再次,将它们作为关系提示校准关系信息,随后将句子表示的最终表示映射至相应的关系类别;最后,通过更好地利用提示中掩码,并结合传统微调方法的学习句子全局语义的优势,充分激发PLM的潜力。实验结果表明,所提方法在SemEval(SemEval-2010 Task 8)数据集的F1值达到91.4%,相较于RELA(Relation Extraction with Label Augmentation)生成式方法提高了1.0个百分点;在SciERC(Entities, Relations, and Coreference for Scientific knowledge graph construction)和CLTC(Chinese Literature Text Corpus)数据集上的F1值分别达到91.0%和82.8%。所提方法在上述3个数据集上均明显优于对比方法,验证了所提方法的有效性。相较于基于生成式的方法,所提方法实现了更优的抽取性能。

优化Mask-RCNN的高分遥感影像建筑物提取

针对从背景复杂、目标密集的高分遥感影像上提取建筑物精度较低的问题,提出了一种基于优化Mask-RCNN的高分遥感影像建筑物提取算法。优化算法以ResNet-50为特征提取主干网络,通过添加更多的横向连接以及自下而上、自上而下路径的方式优化FPN,提高算法的特征提取能力,并利用Soft-NMS优化原始NMS算法改善提取结果。利用自制的重庆市渝北区高分遥感影像建筑物数据集,采用交叉验证方法验证其在不同训练集与测试集上的稳定性,同时比较优化前后算法的提取性能。实验结果表明,优化算法平均精确率为88.4%,对比原始算法提高了4.9个百分点,对实现遥感影像建筑物高精度自动提取具有一定的参考意义。

基于序列增强的事件主体抽取方法

为了解决在事件抽取中使用固定文本长度造成短句子填充过多,从而引发语义偏移的问题,提出一种基于序列增强的事件主体抽取方法。具体而言,首先,将固定长度文本通过预训练模型映射到1个稠密向量中;然后,将文本对应的稠密向量与自定义Mask层和SpatialDropout层按位相乘,得到编码输出;最后,将该输出连接BiGRU层以及Mask层,得到解码输出,并将其映射在MLP层中,得到最后的结果。该模型既能够避免预训练模型对文本表征过拟合的问题,也能够限制填充文本在语义上的过度表达。使用CCKS 2022所供金融领域事件主体作为数据集进行不同模型读取对比实验,所得实验数据表明,对填充文本加以负影响的增强序列比传统序列在事件主体识别的正确性、F_(1)值上皆显著提升。

融合全局多层次特征的跨尺度河流精准识别方法

高分辨率遥感影像中河流自动化精准识别,在河湖环境监测和流域变化研究等方面具有重要意义和研究价值。然而,因河流在影像中面积占比较小,易造成数据集正负样本不平衡。此外,河流具有形态多变和尺度变换复杂等特点,导致河流识别易出现边界不连续和格网效应等问题。基于此,提出一种融合全局多层次特征的跨尺度河流精准识别方法。首先,选取全球具有明显特征的曲流河和辫状河,创建多特征河流数据集,以此增加数据多样性。其次,以轻量级语义分割模型Segformer为主干网络搭建R-Seg模型,设计全局多层次特征提取GASPP模块,通过各阶段与Transformer级联提取多尺度特征,使得模型能更好捕捉河流影像上下文特征信息,减少信息损失并放大全局维度交互特征。最后,提出基于掩膜加权投票的跨尺度河流影像预测方法,通过对大场景河流影像进行滑窗裁剪,将各单元预测块与特定掩膜加权相乘得到子预测结果,并按照重叠投票方式依次拼接组成最终结果,实现不同尺度河流影像精准识别。实验证明,在所构建包含曲流河和辫状河的多特征数据集中,通过与其他方法对比可发现:在定性方面,R-Seg整体网络结构既能确保主干河流的识别精度,又能缓解细小河流断流现象,有效平滑河流边界,对500×500小尺度河流影像识别具有较好的鲁棒性;此外,采用掩膜加权投票方法,能有效减少格网效应造成的单元图块边缘缺失问题,充分利用单元图块预测结果,提升对更大场景遥感影像的适应能力和河流预测精度,实现不同尺度河流影像精准识别。从定量角度,方法各类精度评价指标相对最优,总体精度可达99.49%;其次,对单张影像识别时间不到1 s,效率可满足大多数实际要求。此外,相比于纯粹重叠预测策略,掩膜加权投票预测策略的河流识别总体精度高约0.28%~6.93%;通过调整重叠度参数可发现,重叠度与精度并非正相关,大约在12.5%精度能达到相对最优。方法通过设计R-Seg网络模型和提出掩膜加权投票预测方法,能一定程度上减少河流边界识别不连续和格网效应等问题,有效提升不同场景下遥感影像河流识别精度,具有较好的鲁棒性和目视效果,识别结果对河流地质勘探及流域变化等有重要应用价值。

基于改进Mask R-CNN的在架图书书脊图像实例分割方法

运用人工智能技术将是构建下一代智慧图书馆的关键,为了实现图书的定位和识别,提出一种基于改进Mask R-CNN的在架图书书脊图像实例分割方法。考虑到图书密集排列、具有一定的旋转性、副本纹理极相似等难点,改进锚框为旋转矩形框,提出旋转区域建议网络取代区域建议网络;提出旋转特征提取方法可减少池化误差且有效提取目标特征,结合掩膜的旋转对齐以提升预测掩膜的准确性。建立了一个包含1849张在架图书书脊图像的标注数据集,提出方法的测试结果大幅度优于其他重要的实例分割算法,证实了在网络中使用旋转特征对于具有一定朝向的、密集的目标分割难题很有效。

融合多任务学习和实体遮掩的关系三元组抽取模型

针对流水线式三元组抽取模型中,命名实体识别任务里实体识别和实体分类两个子任务之间存在干扰,关系抽取任务中实体提及词对关系分类也存在干扰的问题,提出一种融合多任务学习和实体遮掩的关系三元组抽取模型.在命名实体识别任务中,先利用预训练模型对输入句子进行特征编码表示,然后利用首尾指针标注进行实体识别,最后利用注意力机制融入实体类型信息进行实体分类.在关系抽取任务中,提出了一种实体遮掩的方法,先利用实体类型信息替换实体提及词,并在其前后插入实体标记,之后利用预训练模型对输入句子进行特征编码表示,最后利用头尾实体的特征表示进行关系分类.在SCIERC和SKE两个数据集上进行大量实验,实验结果表明,所提模型相较于基于实体标记方法的PURE模型整体性能提升了2.5和1.5个百分点.充分验证了在三元组抽取任务中,分解命名实体识别任务以及在关系抽取中用实体类型信息替换实体提及词的有效性.

市售含植物提取物面膜中防腐剂成分使用分析

为对市售含植物提取物的贴片式面膜类产品中的防腐剂添加情况及成分标识情况进行分析,依据《化妆品安全技术规范》2015版,对44批次面膜中甲基异噻唑啉酮等23种防腐剂成分进行含量测定,并对其中防腐剂的种类、含量以及标签比对结果进行分析。检测结果表明,在44批面膜中,检出防腐剂种类主要为苯氧乙醇(70.5%)及尼泊金酯类防腐剂(68.2%),标签比对结果表明,仅12批的备案标签标识和实际检出情况相符,不相符的情况以检出标签外的尼泊金酯类防腐剂为主。另有1批检出甲基异噻唑啉酮与甲基氯异噻唑啉酮,两者含量比例为7︰1,不符合《化妆品安全技术规范》要求。

基于改进Mask-RCNN的遥感影像建筑物提取

由于遥感影像中建筑物种类繁多且与周围环境信息混淆,传统方法难以实现建筑物的准确高效提取.本文提出了一种基于改进Mask-RCNN的建筑物自动提取方法,利用PyTorch深度学习框架搭建改进Mask-RCNN网络模型架构,在网络的设计中添加了路径聚合网络和特征增强功能,通过监督和迁移学习的方式对Inria航空影像标签数据集进行多线程迭代训练与模型优化学习,实现了建筑物的自动精确分割和提取.基于不同开源数据集,分别与SVM、FCN、U-net和Mask-RCNN等建筑物提取算法进行对比,实验表明,本文方法可以高效准确、高效地提取建筑物,对于同一个数据集,提取结果的mAP、mRecall、mPrecision和F1分数这4个评价指标均优于对比算法.

基于Mask R⁃CNN与SG滤波的手势识别关键点特征提取方法

手势识别是人机交互的重要手段。为了精确识别手势并摒除光照等环境干扰,同时减除由于手部高维运动造成的关键点剧烈抖动的问题,提出一种基于基于蒙版区域的卷积神经网络(Mask Region⁃based convolutional neural network,Mask R⁃CNN)与多项式平滑算法(Savitzky⁃Golay,SG)的手势关键点提取方法。该方法首先对输入的红绿蓝(RGB)三通道图像进行特征提取与区域分割,获得手部的实例分割与掩码。然后利用ROIAling及功能性网络进行目标匹配,标记出22个关键点(21个骨骼点+1个背景点)。将标记后结果送入SG滤波器进行数据平滑,并进行骨骼点的重新标定。从而得到稳定的手势提取特征。对模型进行对比实验,结果表明,该方法能够最大程度摒除环境干扰,并精准提取关键点。与传统基于轮廓分割的手势关键点提取相比,模型的鲁棒性大大提高,识别精度达到93.48%。

单阶段实例分割——从局部到整体的网络结构研究综述

单阶段实例分割是近年来深度学习领域的研究热点,其通过将目标检测和目标分割并行的方式实现图像的实例级分割,该方法目前已被广泛应用于图像目标分割领域。首先,阐述了单阶段实例分割基本原理。然后,从局部和整体2个方面对单阶段实例分割的网络结构进行梳理,在局部网络结构方面,从特征提取、特征融合、特征预测3个方面进行归纳,其中,在特征预测部分,按照有锚框到无锚框的思路对目标边界框的生成方式进行分类,按照全局掩膜到局部掩膜的思路对目标掩膜的表示方式进行分类,全局掩膜包括原型系数方法、目标位置方法和目标边界方法,局部掩膜包括目标轮廓方法、目标位置方法和目标特征方法;在整体网络结构方面,对22个主流的网络结构进行总结。接着,归纳了单阶段实例分割在医学图像分割、视频图像分割、遥感图像分割等应用领域的发展现状。最后,对单阶段实例分割的发展方向进行展望。

基于幅度和相位混合特征交叉的语音增强方法

为充分利用含噪语音信号的相位特征信息及其与幅度信息的相关性,提出一种幅度和相位混合特征交叉的单通道语音增强方法。提取含噪信号的对数功率谱和相位特征,依次交叉排列;计算复数掩模,将复数掩模的实虚部依次交叉以保持对称输入特征;在此基础上,构建深度编解码器网络(amplitude phase deep encoder decoder network,APDEDN)增强语音质量。实验结果表明,相较单一特征方法,提出方法获得了语音质量感知评估评分和短时目标可懂度上的改善。