基于改进Faster R-CNN的苹果采摘视觉定位与检测方法

针对采摘机器人对场景中目标分布密集、果实相互遮挡的检测及定位能力不理想问题,提出一种引入高效通道注意力机制(ECA)和多尺度融合特征金字塔(FPN)改进Faster R-CNN果实检测及定位方法。首先,利用表达能力较强的融合FPN的残差网络ResNet50替换原VGG16网络,消除了网络退化问题,进而提取更加抽象和丰富的语义信息,提升模型对多尺度和小目标的检测能力;其次,引入注意力机制ECA模块,使特征提取网络聚焦特征图像的局部高效信息,减少无效目标的干扰,提升模型检测精度;最后,采用一种枝叶插图数据增强方法改进苹果数据集,解决图像数据不足问题。基于构建的数据集,使用遗传算法优化K-means++聚类生成自适应锚框,提高模型定位准确性。试验结果表明,改进模型对可抓取和不可直接抓取苹果的精度均值分别为96.16%和86.95%,平均精度均值为92.79%,较传统Faster R-CNN提升15.68个百分点;对可抓取和不可直接抓取的苹果定位精度分别为97.14%和88.93%,较传统Faster R-CNN分别提高12.53个百分点和40.49个百分点;内存占用量减少38.20%,每帧平均计算时间缩短40.7%,改进后的模型参数量小且实时性好,能够更好地应用于果实采摘机器人视觉系统。

基于改进Faster R-CNN与U-Net算法的桥梁病害识别与量化方法

为实现桥梁病害检测的自动化,对基于图像处理技术的混凝土桥梁表观病害的智能识别和尺寸确定方法展开研究.提出基于改进Faster R-CNN算法的病害识别方法,利用K均值聚类和遗传算法对区域候选网络锚框进行优化设计;以裂缝预测区域为基础,提出ResNet34结合U-Net的裂缝形态提取方法,并结合裂缝形态学研究了裂缝像素宽度和长度的确定方法.结果表明:锚框优化设计可改进Faster R-CNN算法的表观病害识别效果,5类常见病害的预测准确率、召回率、平均精确率分别由68.40%、69.87%、74.64%提升到85.40%、83.59%、83.72%;利用病害预测框,结合改进U-Net算法的裂缝像素尺寸计算,可实现裂缝病害尺寸的自动测量;基于改进Faster R-CNN和改进U-Net的方法可实现混凝土桥梁常见病害的智能识别和尺寸量化,从而提高桥梁病害检测效率并促进桥梁技术状况评定的智能化.

基于改进Faster R-CNN的热轧带钢表面缺陷检测

热轧带钢是钢铁行业的重要产品,其表面缺陷是影响产品质量的重要因素。针对传统缺陷检测算法存在的过程繁琐、精度不足和效率低下等问题,提出一种基于改进更快速区域卷积神经网络(faster region-based convolutional neural network,Faster R-CNN)的检测算法,实现对热轧带钢表面缺陷的高效、高精度检测。首先,采用特征相加的方法对底层细节特征和高层语义特征进行融合;然后,采用精准的感兴趣区域池化(precise region of interest pooling,Precise ROI Pooling)获取固定大小的特征向量,避免特征出现位置偏差;最后,利用均值偏移聚类算法对带钢数据集进行聚类,获得适用于热轧带钢表面缺陷检测的先验框尺寸。实验结果表明,所提算法在热轧带钢表面缺陷检测数据集上的平均精度均值达到了85.34%,检测速度为23.5帧/s,且鲁棒性良好,满足实际的工业检测需求。

基于改进Faster R-CNN的变电站设备外部缺陷检测

针对变电站设备外部缺陷目标检测任务中目标形状多样,周围环境复杂,当前代表性算法识别准确度低,错检漏检严重的问题,对比了众多目标检测算法在变电站设备缺陷数据集上的检测结果,检测精度较高的是添加了特征融合金字塔结构的Faster R-CNN(faster region-based convolutional network)算法,但其对小目标物体和设备渗漏油的检测精度仍有提升空间,为此设计一种基于Faster R-CNN的改进算法。改进算法通过对输入图像进行数据增强,在网络中添加SPP(spatial pyramid pooling)结构以及改进特征融合方式,对分类以及边界框回归损失函数进行改进的方式来提高缺陷的检测精度。与原Faster R-CNN算法进行对比,改进算法在变电站设备缺陷目标检测数据集的检测结果中AP(average precision)(0.5∶0.95)提高了2.7个百分点,AP(0.5)提高了4.3个百分点,对小目标物体的检测精度也提高了1.8个百分点,试验结果验证了该方法的有效性。

优化Faster R-CNN算法的小样本缺陷检测研究

随着自动化检测技术的发展,基于深度学习的缺陷检测技术以其高精度、高效率、非接触性的特点正逐渐成为工业和学术领域的研究热点。为解决实际工业生产中由于产品缺陷数据集样本不足、类别不均衡导致的模型过拟合、检测精度低等问题,提出了一种基于Faster R-CNN算法框架优化的缺陷检测模型Faster R-CNN-H-BFC,通过基于多层感知器(multi-layer perceptron,MLP)实现的幻觉网络能够从具有丰富样本的基类中学习到类共享特征并为新类生成额外的幻觉样本供模型训练,并且针对Faster R-CNN本身存在的识别精度低以及检测效果差等问题,将原始的VGG16主干网络替换为具有残差结构的ResNet50,并引入了特征金字塔网络(Feature Pyramid Networks,FPN)实现多尺度特征融合,添加混合注意力机制(Convolutional Block Attention Module,CBAM)来增强模型的特征提取能力。实验和数据表明:改进后的缺陷检测模型在极少样本场景下具有较好的检测效果,平均检测精度相较于改进前提升了3.11%。

基于Faster R-CNN的动漫场景多人物自动识别研究

当前动漫场景多人物识别方法在提取目标特征时,对于汇聚特征信息的滑动窗口定位不准确,所提取到的特征信息不准确,导致识别精度较差,因此为了解决这一问题,提出了一种基于Faster R-CNN的动漫场景多人物自动识别方法。标注大量动漫场景人物形象图片,构建训练集和测试集,将其输入Faster R-CNN神经网络模型,提取图像特征并构建特征图。采用滑动窗口遍历特征图,选择特征向量评分最高的窗口,保证窗口内局部特征可以充分表示动漫人物主要特征,根据特征提取结果自动识别多个动漫人物身份,完成动漫场景多人物自动识别。实验结果表明,设计方法与两种传统方法相比,人物识别召回率分别提升了11.10%和18.99%,提高了目标识别精度,人物识别过拟合比率稳定在1.0060,说明该方法能够高精度不同类别的动漫人物,且识别过程较为稳定,识别效率较高。

基于改进Faster R-CNN的隧道衬砌中离散实体目标自动检测研究

隧道衬砌中离散实体目标的检测精度和时效性直接关乎隧道的运营安全,采用图像视觉技术进行图像自动解译可极大提升检测效率和结果的准确性,因此基于离散实体目标的雷达图像数据构建自定义雷达数据集合,并提出一套改进的Faster R-CNN算法对隧道衬砌中的离散实体目标进行自动检测。该算法首先对现有Faster R-CNN网络的特征提取模块进行改进,提出一套全新的轻量化特征提取网络ResNet_FMBConv对雷达图像特征进行深度挖掘;基于ResNet_FMBConv网络改进现有特征金字塔(FPN)结构,实现对多尺寸下目标的精准辨识。其次,基于实测和仿真的雷达图像数据构建离散实体目标的自定义雷达数据集合,通过几何变换方法对雷达图像进行数据增强后用于算法验证。结果表明,改进算法在IOU=0.50∶0.95情况下的检测精确率、召回率、F 1分数和FPS分别为45.1%、54.0%、49.1%和21.65 fps。在保证召回率基本持平的情况下,同比YOLOv3_spp、SSD、Retinanet和Faster R-CNN等目标检测算法的精确率和F 1分数分别提升2%~9%和1%~6%。同时,试验结果表明改进后的特征提取网络ResNet_FMBConv也优于现有Resnet-50、VGG16、Efficientnet_b0和Mobilenetv3等目标分类网络。

多头自注意力机制的Faster R-CNN目标检测算法

文中提出一种融合多头注意力机制、ROIAlign和Soft-NMS的FasterR-CNN目标检测算法,旨在解决原始Faster R-CNN目标检测网络中存在的检测精度低、漏检、误检的问题。首先,为了提高Faster R-CNN的感知能力,提取特征图中的重要特征并降低对无关特征的提取,在网络中嵌入注意力机制;接着,针对共享全连接层的降维操作导致的一些区域的细节信息被忽略,造成局部信息的丢失,采用一维卷积代替共享全连接层实现权重计算的任务,以捕捉更广泛的空间信息;然后为了提供更丰富的特征表达能力,在注意力机制中引入多头机制分别对特征的不同部分进行重要性的加权;为了减少在特征提取时原图信息的丢失,使用ROI Align替换ROI Pooling算法;最后,在算法后处理中引入Soft-NMS替换传统非极大抑制(NMS)算法以减少漏检和误检情况。实验证明,改进后的Faster R-CNN目标检测网络对感兴趣目标的定位能力得到提高,漏检和误检情况减少,平均检测精度得到显著提升。

基于优化Faster R-CNN算法的金属板材表面缺陷检测

传统的图像处理方法对生产过程中各种金属板材表面缺陷检测效率低,难以满足工业生产的需求。为了提高金属板材表面缺陷检测的精度,文章提出了一种基于优化Faster R-CNN算法的金属板材表面缺陷检测方法,以残差网络ResNet50作为主干特征提取网络。首先,融合特征金字塔网络和可变形卷积网络以提高对小目标和不规则性缺陷的检测能力。然后,采用RoI Align和K-means++聚类算法对候选框进行优化,实现缺陷的精准定位。最后,将提出的模型运用在NEU-DET数据集中进行多次实验。实验结果表明,优化后的Faster R-CNN算法在此数据集上的mAP为78.7%,与原始网络相比提高了7.7%,并且其检测性能优于SSD、YOLOv5s和YOLOv7三类目标检测算法。

基于Faster R-CNN算法的变电站设备识别与缺陷检测技术研究

变电站作为电力运输的中转站,是城市运转、人民生活的重要基础设施。变电站在运行过程中,经常发生因位置偏僻,不支持机器人或无人机直接进行探测而造成的设备运作温度检测不及时的问题。传统的变电站设备缺陷识别算法是基于机器的学习算法,精确度较低,只适合单个设备类别的缺陷检测,易受环境的影响。基于此,文中提出一种识别变电站设备红外缺陷的方法。首先,基于Faster R-CNN算法的设备识别,对6种类型的变电站设备包括套管、绝缘体、电线、电压互感器、避雷针和断路器进行目标识别,以实现设备的精确定位;然后,基于稀疏表示分类(SRC)的算法获得输入样本的实际标签;最后,基于温度阈值判别式算法,在设备区域中识别设备温度的异常缺陷。文中的方法实现了在红外线图像下的设备识别和缺陷检测,运用文中设计的方法对6类设备的红外图像进行检测,准确率达到91.58%,不同类型设备缺陷的平均识别准确率为91.62%,整体缺陷图像的识别准确率达到87.62%。实验结果表明了该方法的有效性和准确性。

基于改进Faster R-CNN的红外目标检测算法

为提升红外目标的检测精度,提出了一种引入频域注意力机制的Faster R-CNN红外目标检测算法。首先,针对红外图像边缘模糊和噪声问题,设计了一种并行的图像增强预处理结构;其次,在Faster R-CNN中引入频域注意力机制,设计了一种新型红外目标检测主干网络;最后,引入路径增强金字塔结构,融合多尺度特征进行预测,利用底层网络丰富的位置信息,提升检测精度。在红外飞机的数据集上进行实验,结果表明,改进后的Faster R-CNN目标检测框架比以ResNet50为主干的算法的AP提升了7.6%。此外,与目前主流算法对比,本文算法提高了红外目标的检测精度,验证了算法改进的有效性。

基于改进Faster R-CNN的桃树缺磷症检测研究

桃树缺磷症(Peach Phosphorus Deficiency, PPD)初期症状不明显、不同阶段症状差异大,而现有的基于计算机视觉的桃树病害识别模型,识别准确率不高、对不同品种识别泛化性差,为此,提出改进Faster R-CNN(Faster Region based Convolutional Neural Network)模型。首先,使用RS(Rank&Sort)-Loss函数代替区域建议网络(Region Proposal Network, RPN)中的交叉熵函数;其次,使用Soft-NMS(Non-Maximum Suppression)算法代替原有的NMS算法;最后,使用ResNeXt101网络替换原来的特征提取网络,提高对PPD识别的准确率和泛化性,并在自建PPD数据集上进行检测试验。试验结果表明:改进后的Faster R-CNN网络在自建PPD数据集上对PPD的各类别平均检测准确率达92.28%、召回率达92.31%、识别准确率达92.28%,满足实际应用要求。

一种基于Filter Faster R-CNN的数字PCR液滴检测技术

目的研究液滴数字聚合酶链式反应(ddPCR)液滴检测技术,去除图像中灰尘、气泡、芯片表面的划痕以及微小凹陷等因素产生的异常点对结果的影响,实现高通量、稳定和准确的ddPCR液滴的自动检测。方法提出Filter Faster R-CNN ddPCR液滴检测模型。使用Faster R-CNN生成液滴预测框,之后使用异常点过滤模块(Filter)去除阳性液滴预测框中的异常点。以诺如病毒片段的质粒为模板进行ddPCR实验,建立一个ddPCR数据集,用于模型的训练(2462例,约占78.56%)和测试(672例,约占21.44%)。对异常点过滤模块的3个过滤支路在验证集上进行消融实验,通过与其他ddPCR液滴检测模型进行比较的对比实验以及进行ddPCR的绝对定量实验。结果在少尘和多尘的环境中,Filter Faster R-CNN阳性液滴准确率为98.23%和88.35%,综合指标F1分数分别达到了99.15%和99.14%,高于其他相比较的模型。独立样本T检验的结果证明,相比未添加过滤模块的网络,添加过滤模块后能够显著提示模型在多尘环境中的阳性准确率。在ddPCR绝对定量实验中,将商业化流式检测设备的结果作为标准浓度,绘制了回归线。结果显示,回归线斜率为1.0005,截距为-0.025,决定系数达到了0.9997,二者结果高度一致。结论本文提出了一种基于Filter Faster R-CNN的ddPCR液滴检测技术,为在多种环境条件下的ddPCR实验提供了鲁棒的液滴检测方法。

基于改进Faster R-CNN的马铃薯发芽与表面损伤检测方法

发芽与表面损伤检测是鲜食马铃薯商品化的重要环节。针对鲜食马铃薯高通量分级分选过程中,高像素图像目标识别准确率低的问题,提出一种基于改进Faster R-CNN的商品马铃薯发芽与表面损伤检测方法。以Faster R-CNN为基础网络,将Faster R-CNN中的特征提取网络替换为残差网络ResNet50,设计了一种融合ResNet50的特征图金字塔网络(FPN),增加神经网络深度。采用模型对比试验、消融试验对本文模型与改进策略的有效性进行了试验验证分析,结果表明:改进模型的马铃薯检测平均精确率为98.89%,马铃薯发芽检测平均精确率为97.52%,马铃薯表面损伤检测平均精确率为92.94%,与Faster R-CNN模型相比,改进模型在检测识别时间和内存占用量不增加的前提下,马铃薯检测精确率下降0.04个百分点,马铃薯发芽检测平均精确率提升7.79个百分点,马铃薯表面损伤检测平均精确率提升34.54个百分点。改进后的模型可以实现对在高分辨率工业相机采集高像素图像条件下,商品马铃薯发芽与表面损伤的准确识别,为商品马铃薯快速分级分等工业化生产提供了方法支撑。

基于Faster R-CNN的轻量化遥感图像军用飞机检测模型

遥感图像军用飞机目标检测对侦察预警和情报分析等领域具有重要意义。针对该任务中图像背景复杂、目标尺度变化大和分布密集等挑战,提出了一种基于Faster R-CNN的轻量化检测模型。该模型使用残差拆分注意力网络来捕获目标区域特征的全局上下文信息以提升模型的表征能力;利用可变形卷积来动态学习目标区域的形变特征,适应不同尺度和形状的目标;采用对比实验的方法精简骨干网络,降低过深的骨干网络与过低的采样率对于小目标检测的影响,提高模型的识别速度。在目标候选框筛选阶段,引入Soft NMS算法,根据置信度降序排名去除重叠度高的候选框,降低密集分布目标的漏检率。实验结果表明,提出的Faster R-CNN模型在参数量为23.844 MB的情况下,mAP0.5-0.95达到了77.1%,检测速度达到了43.7帧/秒,相比于多个主流模型具有较好的综合性能。

改进Faster R-CNN的视频SAR动目标检测算法

针对当前可用于深度学习的视频SAR数据稀少的现状,以及动目标检测算法中存在较多的漏检和虚警问题,基于美国桑迪亚国家实验室真实视频SAR数据制作深度学习数据集,提出一种改进Faster R-CNN的视频SAR动目标检测算法。算法以截取后的ResNet50为特征提取网络,利用K-means加遗传算法自适应计算锚框,并在数据预处理环节加入S型曲线增强方法,来增强图像的对比度信息。经实验验证,所提出方法能够显著提升动目标检测率和检测速度,其中,平均精度(AP)和F1分数提升均达到10个点以上,有效降低了虚警和漏检,整体表现优于一阶段算法SSD和RetinaNet。

基于Faster R-CNN的蔗田杂草检测算法研究

为提高自然环境下蔗田杂草检测准确率,提出一种基于改进的Faster R-CNN的蔗田杂草检测算法。在特征提取阶段使用BFP模块均衡各级语义特征来加强对杂草图像深层特征的提取;采用DLA策略动态调整网络的标签预测阈值,解决训练前期正样本稀缺问题;使用Soft-NMS对模型进行优化,通过改进原模型的NMS减少单类目标漏检并提高目标定位精度。试验结果表明,优化后算法的mAP值达81.3%,与原Faster R-CNN算法相比,精度提升6.2%,平均每幅图像测试耗时0.132 s,且在AP 50、AP s、AP l指标上分别有6.5%、4.7%、5.1%的提高。改进后的算法具有较高的检测精度和稳定性,可以满足复杂自然环境下的蔗田杂草检测需求。

基于改进Faster R-CNN的遮挡行人检测

遮挡是导致行人检测任务中漏检情况发生的主要原因之一,影响行人检测器的性能。为了增强检测器对遮挡行人的检测能力,论文提出一种改进的Faster R-CNN检测器,采用HRNet作为Faster R-CNN的特征提取网络,用于提取强语义的特征。在模型的训练和测试阶段,分别引入NMS-Loss和Soft-NMS,减少拥挤场景中由非极大值抑制算法(NMS)造成的漏检。此外,使用CrowdHuman行人数据集进行预训练,利用其中丰富的遮挡样本,增强Faster R-CNN检测器对遮挡行人目标的检测能力。在Caltech数据集上对本文提出的改进方法和其他对比方法进行了性能评估。实验结果表明,本文提出的改进方法在总体漏检率上具有优势,其中严重遮挡行人目标上的对数平均漏检率为29%,明显优于其他对比深度学习检测器。

基于改进型Faster R-CNN的仓储环境物体识别技术研究

为解决传统目标检测精确度不高、有效性差、难以适应仓储环境下多目标识别应用场景的问题,提出了一种改进型Faster R-CNN目标检测算法。首先,采用ResNet50替换VGG16作为特征提取网络,以提高模型的检测精度;同时,为兼顾多尺度及小目标物体的检测,引入了特征金字塔网络,形成了残差金字塔特征提取网络ResFPN;其次,引入了注意力机制,提高输入特征的空间和通道有效信息利用率;最后,使用RoI Align代替原有的RoI Pooling,以消除因量化取整而产生的预测框回归误差。在经图像增广处理的自建数据集上进行实验测试,结果表明,提出的改进型Faster R-CNN算法在仓储环境下能满足对人员、叉车和托盘的目标检测需求,其平均检测精确度能达到90.2%。

基于改进Faster R-CNN的多种类车灯检测方法

自主喷涂机器人可以实现各种类型汽车车灯的自动化喷涂,而基于机器视觉的车灯检测算法是该机器人的关键技术。针对目前缺乏深度学习算法在喷涂环境中检测车灯的问题,提出一种基于改进Faster R-CNN的检测算法。改进的算法中用密集残差网络De-ResNet代替原有的特征提取网络,融合了多层次的特征信息,增加了网络深度,避免了网络梯度的消失。同时利用距离交并比DIoU对原算法中的损失函数进行了改进,引入了良好的距离度量,进一步提高了检测精度。实验结果表明,改进算法的平均准确率为98.56%,单幅图像的平均识别时间为0.45 s,能够实现对车灯类型的有效识别,满足实时处理的要求。