改进型Cascada R-CNN的行人检测算法的研究

智能交通的中重要一点就是对行人的检测跟踪用以规避行人实现自动驾驶。在神经网络运用的目标检测之前,常见的行人检测方法有梯度直方图特征(Histogram of oriented gradient,HOG)与支持向量机(Support vector machine,SVM)相结合的方法,但是此方法的弊端较为突出,在检测准确率远远达不到目前主流的几种深度学习算法检测,其应用场景受到很大的限制。而目前在深度学习中,行人检测应用比较广泛的模型有Faster R-CNN、YOLOv3等,而论文将采用改进Cascada R-CNN模型,其比Faster R-CNN具有更好的抗干扰能力,在昏暗、光线不均匀等条件下具有较好的行人检测效果,同时使其能过更好的识别小样本行人,实验在INRIA数据集中完成训练与并在自制的测试集检测,取得了不错的效果。

基于改进Faster R-CNN的苹果采摘视觉定位与检测方法

针对采摘机器人对场景中目标分布密集、果实相互遮挡的检测及定位能力不理想问题,提出一种引入高效通道注意力机制(ECA)和多尺度融合特征金字塔(FPN)改进Faster R-CNN果实检测及定位方法。首先,利用表达能力较强的融合FPN的残差网络ResNet50替换原VGG16网络,消除了网络退化问题,进而提取更加抽象和丰富的语义信息,提升模型对多尺度和小目标的检测能力;其次,引入注意力机制ECA模块,使特征提取网络聚焦特征图像的局部高效信息,减少无效目标的干扰,提升模型检测精度;最后,采用一种枝叶插图数据增强方法改进苹果数据集,解决图像数据不足问题。基于构建的数据集,使用遗传算法优化K-means++聚类生成自适应锚框,提高模型定位准确性。试验结果表明,改进模型对可抓取和不可直接抓取苹果的精度均值分别为96.16%和86.95%,平均精度均值为92.79%,较传统Faster R-CNN提升15.68个百分点;对可抓取和不可直接抓取的苹果定位精度分别为97.14%和88.93%,较传统Faster R-CNN分别提高12.53个百分点和40.49个百分点;内存占用量减少38.20%,每帧平均计算时间缩短40.7%,改进后的模型参数量小且实时性好,能够更好地应用于果实采摘机器人视觉系统。

基于改进Faster R-CNN的热轧带钢表面缺陷检测

热轧带钢是钢铁行业的重要产品,其表面缺陷是影响产品质量的重要因素。针对传统缺陷检测算法存在的过程繁琐、精度不足和效率低下等问题,提出一种基于改进更快速区域卷积神经网络(faster region-based convolutional neural network,Faster R-CNN)的检测算法,实现对热轧带钢表面缺陷的高效、高精度检测。首先,采用特征相加的方法对底层细节特征和高层语义特征进行融合;然后,采用精准的感兴趣区域池化(precise region of interest pooling,Precise ROI Pooling)获取固定大小的特征向量,避免特征出现位置偏差;最后,利用均值偏移聚类算法对带钢数据集进行聚类,获得适用于热轧带钢表面缺陷检测的先验框尺寸。实验结果表明,所提算法在热轧带钢表面缺陷检测数据集上的平均精度均值达到了85.34%,检测速度为23.5帧/s,且鲁棒性良好,满足实际的工业检测需求。

基于空间注意力机制的Mask R-CNN致密储层岩石薄片图像鉴定

针对陆相致密储层岩石薄片鉴定识别难、制片成本高、时间消耗长和人为主观强等难题,选取鄂尔多斯盆地临兴区块上古生界和松辽盆地三肇凹陷扶余油层为靶区,提出一种基于深度学习的致密油储层岩石薄片人工智能鉴定方法,引入图像预处理技术去除岩石薄片图像噪声并统一图像像素大小,构建空间几何增广机制,基于空间注意力机制改进Mask R-CNN算法,并将上述方法应用于实例靶区进行有效性验证。结果表明:图像预处理技术能够在保障图像特征的前提下,有效提高图像质量,减少噪声干扰;空间几何图像增广机制能够在在一定程度上增加可用样本的数量;基于空间注意力机制的Mask R-CNN算法可以同时完成复杂岩石薄片成分的分割与智能识别工作,分割精度在不同数据集情况下的平均精度为89.2%,整体识别准确率为93%,适用于致密油储层岩石薄片特征鉴定。

改进Mask R-CNN的馆藏报纸图像内容分割

开展馆藏报纸图像内容分割研究,能提升文字识别准确率,对促进机器识别取代人工操作、提高图书馆数字化工作效率具有重要意义。文章根据报纸图像呈现的特征,提出一种基于改进MaskR-CNN的算法,实现报纸图像内容分割。首先,通过优化锚框比例和损失函数,对原始MaskR-CNN算法进行改进。其次,采用数据增强、调整训练参数开展样本训练。最后,通过实验的方式对改进后的MaskR-CNN算法训练模型和原始算法训练模型进行比较,并采用AP_bbox和AP_segm评价指标对实验结果进行评估,改进后的算法训练模型AP_bbox为0.935,AP_segm为0.943,均超过原始算法训练模型。实验结果表明,改进后的MaskR-CNN算法能够实现报纸图像内容有效检测与分割。

基于改进Mask R-CNN的青菜杂质检测研究

绿叶蔬菜的智能包装加工是实现绿叶蔬菜智能化生产、降低生产成本的重要部分,对绿叶蔬菜在包装加工时的杂质检测是其重要前提。以青菜为研究对象,提出一种基于Mask R-CNN的青菜杂质检测模型。首先采集标注掺杂枯树叶、枯菜叶和碎纸片3种常见杂质的青菜图像1370多张,并通过数据增强的方法扩充建立含有2740张青菜杂质图像的数据集。为减少背景对杂质检测的影响,通过在Mask R-CNN模型中加入协调注意力机制,同时添加全连接层和Dropout层,增强模型特征提取能力,减少过拟合现象,并使用迁移学习方法对模型进行微调。结果表明改进后的Mask R-CNN算法对青菜杂质识别的平均精度均值为99.19%,检测速度为8.45 FPS,检测效果良好,可以满足青菜杂质的检测需求。

基于改进Faster R-CNN与U-Net算法的桥梁病害识别与量化方法

为实现桥梁病害检测的自动化,对基于图像处理技术的混凝土桥梁表观病害的智能识别和尺寸确定方法展开研究.提出基于改进Faster R-CNN算法的病害识别方法,利用K均值聚类和遗传算法对区域候选网络锚框进行优化设计;以裂缝预测区域为基础,提出ResNet34结合U-Net的裂缝形态提取方法,并结合裂缝形态学研究了裂缝像素宽度和长度的确定方法.结果表明:锚框优化设计可改进Faster R-CNN算法的表观病害识别效果,5类常见病害的预测准确率、召回率、平均精确率分别由68.40%、69.87%、74.64%提升到85.40%、83.59%、83.72%;利用病害预测框,结合改进U-Net算法的裂缝像素尺寸计算,可实现裂缝病害尺寸的自动测量;基于改进Faster R-CNN和改进U-Net的方法可实现混凝土桥梁常见病害的智能识别和尺寸量化,从而提高桥梁病害检测效率并促进桥梁技术状况评定的智能化.

基于FPGA加速的Mask R-CNN稻瘟病高通量自适应识别模型研究

针对基于图像的稻瘟病现场检测技术依赖先验知识且受制于算力与田间网络状况,无法实现自适应实时检测的问题,提出一种可利用现场可编程门阵列(Field programmable gate array,FPGA)加速的Mask R-CNN(Mask region-based convolutional neural network)稻瘟病高通量自适应快速识别模型。首先将骨干网络改进为MobileNetV2,利用其倒残差模块降低计算量,提高模型并行处理能力;随后增加用于稻瘟病多尺度特征融合的特征金字塔网络模块,使模型具备多尺度自适应处理能力;最后由全卷积网络(Fully convolutional network,FCN)分支输出稻瘟病病斑的实例分割,同时使用交叉熵损失函数完成稻瘟病的定位与分类。稻瘟病实测数据集对模型的验证结果表明:当输入为全高清图像时,模型平均推理时间减少至85 ms,相较GPU服务器、同级别GPU边缘计算平台,速度分别提高86.2%、63.0%。在交并比为0.6时,准确率可达98.0%,病斑捕获能力平均提升21.2%。提出的Mask R-CNN自适应快速识别模型能够在田间恶劣网络状况下实现稻瘟病的快速现场检测,具有更好的抗噪能力和鲁棒性能,为水稻病害实时检测、察打一体提供了高效实时的片上系统方案。

基于Mask R-CNN的电力关键设备运行状态检测

为判断电力关键设备两端负载电压与干路总电压之间的数值关系,提出基于Mask R-CNN的电力关键设备运行状态检测方法。在Mask R-CNN网络结构中,判断电量信号的时域范围与频域范围。然后根据负荷阻抗特征计算交流参数的取值结果,再联合已获取的电信号参量,求解连续相关函数,从而检测电力关键设备运行状态。实验过程中,设备两端负载电压、内阻消耗电压之和与干路总电压之间的差值未超过1.5 V,说明该方法能够证明电力关键设备两端负载电压、内阻消耗电压之和等于干路总电压数值的猜想成立,可以根据该验证检测电力关键设备运行状态是否正常。

基于改进Mask R-CNN的笼养死鸭识别方法

针对规模化笼养肉鸭舍内死鸭识别采用人工作业方式时,存在作业效率低、劳动强度大、养殖成本高等问题,以层叠式笼养肉鸭为研究对象,提出了一种基于深度学习的笼养死鸭识别方法。为了采集数据,首先面向立体层叠式养殖环境设计了一款适用于肉鸭舍的自主巡检装备。针对笼养肉鸭舍铁丝网遮挡严重的问题,基于机器视觉对笼网进行修复,基于OpenCV对图像进行增强处理。构建了一种基于Mask R-CNN的死鸭识别模型,采用Swin Transformer对模型进行优化,解决了Mask R-CNN网络缺乏整合全局信息能力的问题。对比分析了SOLO v2、Mask R-CNN和Mask R-CNN+Swin Transformer模型识别笼内死鸭准确率。实验结果表明,在平均精度均值为90%的条件下,Mask R-CNN+Swin Transformer模型对笼内死鸭总体识别准确率可达95.8%,在自主巡检装备上的检测效果优于其他主流的目标检测算法。

优化Faster R-CNN算法的小样本缺陷检测研究

随着自动化检测技术的发展,基于深度学习的缺陷检测技术以其高精度、高效率、非接触性的特点正逐渐成为工业和学术领域的研究热点。为解决实际工业生产中由于产品缺陷数据集样本不足、类别不均衡导致的模型过拟合、检测精度低等问题,提出了一种基于Faster R-CNN算法框架优化的缺陷检测模型Faster R-CNN-H-BFC,通过基于多层感知器(multi-layer perceptron,MLP)实现的幻觉网络能够从具有丰富样本的基类中学习到类共享特征并为新类生成额外的幻觉样本供模型训练,并且针对Faster R-CNN本身存在的识别精度低以及检测效果差等问题,将原始的VGG16主干网络替换为具有残差结构的ResNet50,并引入了特征金字塔网络(Feature Pyramid Networks,FPN)实现多尺度特征融合,添加混合注意力机制(Convolutional Block Attention Module,CBAM)来增强模型的特征提取能力。实验和数据表明:改进后的缺陷检测模型在极少样本场景下具有较好的检测效果,平均检测精度相较于改进前提升了3.11%。

基于改进Faster R-CNN的变电站设备外部缺陷检测

针对变电站设备外部缺陷目标检测任务中目标形状多样,周围环境复杂,当前代表性算法识别准确度低,错检漏检严重的问题,对比了众多目标检测算法在变电站设备缺陷数据集上的检测结果,检测精度较高的是添加了特征融合金字塔结构的Faster R-CNN(faster region-based convolutional network)算法,但其对小目标物体和设备渗漏油的检测精度仍有提升空间,为此设计一种基于Faster R-CNN的改进算法。改进算法通过对输入图像进行数据增强,在网络中添加SPP(spatial pyramid pooling)结构以及改进特征融合方式,对分类以及边界框回归损失函数进行改进的方式来提高缺陷的检测精度。与原Faster R-CNN算法进行对比,改进算法在变电站设备缺陷目标检测数据集的检测结果中AP(average precision)(0.5∶0.95)提高了2.7个百分点,AP(0.5)提高了4.3个百分点,对小目标物体的检测精度也提高了1.8个百分点,试验结果验证了该方法的有效性。

基于Faster R-CNN的动漫场景多人物自动识别研究

当前动漫场景多人物识别方法在提取目标特征时,对于汇聚特征信息的滑动窗口定位不准确,所提取到的特征信息不准确,导致识别精度较差,因此为了解决这一问题,提出了一种基于Faster R-CNN的动漫场景多人物自动识别方法。标注大量动漫场景人物形象图片,构建训练集和测试集,将其输入Faster R-CNN神经网络模型,提取图像特征并构建特征图。采用滑动窗口遍历特征图,选择特征向量评分最高的窗口,保证窗口内局部特征可以充分表示动漫人物主要特征,根据特征提取结果自动识别多个动漫人物身份,完成动漫场景多人物自动识别。实验结果表明,设计方法与两种传统方法相比,人物识别召回率分别提升了11.10%和18.99%,提高了目标识别精度,人物识别过拟合比率稳定在1.0060,说明该方法能够高精度不同类别的动漫人物,且识别过程较为稳定,识别效率较高。

基于改进Faster R-CNN的隧道衬砌中离散实体目标自动检测研究

隧道衬砌中离散实体目标的检测精度和时效性直接关乎隧道的运营安全,采用图像视觉技术进行图像自动解译可极大提升检测效率和结果的准确性,因此基于离散实体目标的雷达图像数据构建自定义雷达数据集合,并提出一套改进的Faster R-CNN算法对隧道衬砌中的离散实体目标进行自动检测。该算法首先对现有Faster R-CNN网络的特征提取模块进行改进,提出一套全新的轻量化特征提取网络ResNet_FMBConv对雷达图像特征进行深度挖掘;基于ResNet_FMBConv网络改进现有特征金字塔(FPN)结构,实现对多尺寸下目标的精准辨识。其次,基于实测和仿真的雷达图像数据构建离散实体目标的自定义雷达数据集合,通过几何变换方法对雷达图像进行数据增强后用于算法验证。结果表明,改进算法在IOU=0.50∶0.95情况下的检测精确率、召回率、F 1分数和FPS分别为45.1%、54.0%、49.1%和21.65 fps。在保证召回率基本持平的情况下,同比YOLOv3_spp、SSD、Retinanet和Faster R-CNN等目标检测算法的精确率和F 1分数分别提升2%~9%和1%~6%。同时,试验结果表明改进后的特征提取网络ResNet_FMBConv也优于现有Resnet-50、VGG16、Efficientnet_b0和Mobilenetv3等目标分类网络。

多头自注意力机制的Faster R-CNN目标检测算法

文中提出一种融合多头注意力机制、ROIAlign和Soft-NMS的FasterR-CNN目标检测算法,旨在解决原始Faster R-CNN目标检测网络中存在的检测精度低、漏检、误检的问题。首先,为了提高Faster R-CNN的感知能力,提取特征图中的重要特征并降低对无关特征的提取,在网络中嵌入注意力机制;接着,针对共享全连接层的降维操作导致的一些区域的细节信息被忽略,造成局部信息的丢失,采用一维卷积代替共享全连接层实现权重计算的任务,以捕捉更广泛的空间信息;然后为了提供更丰富的特征表达能力,在注意力机制中引入多头机制分别对特征的不同部分进行重要性的加权;为了减少在特征提取时原图信息的丢失,使用ROI Align替换ROI Pooling算法;最后,在算法后处理中引入Soft-NMS替换传统非极大抑制(NMS)算法以减少漏检和误检情况。实验证明,改进后的Faster R-CNN目标检测网络对感兴趣目标的定位能力得到提高,漏检和误检情况减少,平均检测精度得到显著提升。

基于改进Oriented R-CNN的旋转框麦穗检测与计数模型

为对干扰、遮挡等复杂的田野环境中麦穗进行精准定位与计数,该研究提出了一种改进的Oriented R-CNN麦穗旋转框检测与计数方法,首先在主干网络中引入跨阶段局部空间金字塔(spatial pyramid pooling cross stage partial networks,SPPCSPC)模块扩大模型感受野,增强网络感知能力;其次,在颈网络中结合路径聚合网络(PANet,path aggregation network)和混合注意力机制(E2CBAM,efficient two convolutional block attention module),丰富特征图包含的特征信息;最后采用柔性非极大值抑制算法(Soft-NMS,soft-non maximum suppression)优化预测框筛选过程。试验结果显示,改进的模型对复杂环境中的麦穗检测效果良好。相较原模型,平均精确度均值mAP提高了2.02个百分点,与主流的旋转目标检测模型Gliding vertex、R3det、Rotated Faster R-CNN、S2anet和Rotated Retinanet相比,mAP分别提高了4.99、2.49、3.94、2.25和4.12个百分点。该研究方法利用旋转框准确定位麦穗位置,使得框内背景区域面积大幅度减少,为实际观察麦穗生长状况和统计数量提供了一种有效的方法。

基于优化Faster R-CNN算法的金属板材表面缺陷检测

传统的图像处理方法对生产过程中各种金属板材表面缺陷检测效率低,难以满足工业生产的需求。为了提高金属板材表面缺陷检测的精度,文章提出了一种基于优化Faster R-CNN算法的金属板材表面缺陷检测方法,以残差网络ResNet50作为主干特征提取网络。首先,融合特征金字塔网络和可变形卷积网络以提高对小目标和不规则性缺陷的检测能力。然后,采用RoI Align和K-means++聚类算法对候选框进行优化,实现缺陷的精准定位。最后,将提出的模型运用在NEU-DET数据集中进行多次实验。实验结果表明,优化后的Faster R-CNN算法在此数据集上的mAP为78.7%,与原始网络相比提高了7.7%,并且其检测性能优于SSD、YOLOv5s和YOLOv7三类目标检测算法。

基于Faster R-CNN算法的变电站设备识别与缺陷检测技术研究

变电站作为电力运输的中转站,是城市运转、人民生活的重要基础设施。变电站在运行过程中,经常发生因位置偏僻,不支持机器人或无人机直接进行探测而造成的设备运作温度检测不及时的问题。传统的变电站设备缺陷识别算法是基于机器的学习算法,精确度较低,只适合单个设备类别的缺陷检测,易受环境的影响。基于此,文中提出一种识别变电站设备红外缺陷的方法。首先,基于Faster R-CNN算法的设备识别,对6种类型的变电站设备包括套管、绝缘体、电线、电压互感器、避雷针和断路器进行目标识别,以实现设备的精确定位;然后,基于稀疏表示分类(SRC)的算法获得输入样本的实际标签;最后,基于温度阈值判别式算法,在设备区域中识别设备温度的异常缺陷。文中的方法实现了在红外线图像下的设备识别和缺陷检测,运用文中设计的方法对6类设备的红外图像进行检测,准确率达到91.58%,不同类型设备缺陷的平均识别准确率为91.62%,整体缺陷图像的识别准确率达到87.62%。实验结果表明了该方法的有效性和准确性。

基于改进Cascade R-CNN的安全帽检测算法

针对安全帽检测中,目标形状、尺度变化大,易出现漏检、误检等问题,提出了一种基于改进级联基于区域的卷积神经网络(Cascade R-CNN)的安全帽检测算法。首先,对ResNet50进行改进形成D-ResNet50,利用可变形卷积仅增加少量参数就可增大感受野的特性,对特征提取网络的C2~C5卷积层进行重塑,提高网络对目标几何变换的适应能力和特征提取能力。其次,将D-ResNet50作为主干网络引入Cascade R-CNN,形成级联目标检测器,在每个阶段对正负样本重采样,抑制误检问题。再次,对递归特征金字塔进行改进,更高效地进行多尺度特征融合,并且基于反馈信息对特征进行二次处理,增强特征表达,提高网络的分类和定位能力。最后,使用Soft-非极大值抑制(Soft-NMS)进行后处理,进一步解决漏检问题。提出的方法在Hard hat workers数据集上的AP值相比检测基线提高了3.5%,与Sparse R-CNN、TridentNet、VFnet等先进算法相比分别提升了4.7%、5.9%、2.3%等。

基于改进Mask R-CNN的矿石类型检测算法

针对不同的矿石类型进行选矿工艺参数设置和操作有利于保障精矿质量,提高回收率和降低物资消耗。由于缺乏矿石类型实时检测有效手段,选矿过程的精准操作目前较难实现。为此,本文提出一种全面改进的Mask R-CNN矿石类型检测算法。算法步骤:①使用ResNetV1d-50提取矿石图像各阶段的特征图,并在主干网络中加入可变形卷积以便增强异形矿石的特征;②改进FPN,通过在主干网络的C5特征层加入特征残差模块,并融合到P5特征层,得到具有更强语义信息的多尺度特征图;③改进RPN,设计自适应的正样本IOU选取方案来匹配宽高比异常的矿石,进一步提高异形矿石的识别精度;④在RoIAlign网络基础上加入Global-Context,以提高小矿石的检测能力;⑤在数据增强和训练技巧方面对模型进行改进。结果表明,本文算法的平均精度为67.92%,平均交并比为63.54%,分别比基准模型提高了13.67%和9.71%。本文研究方法在矿石类型识别领域具有较好的应用价值。