基于多尺度注意力特征融合的场景文本检测

针对目前文本检测中小尺度文本和长文本检测精度低的问题,提出了一种基于多尺度注意力特征融合的场景文本检测算法。该方法以Mask R-CNN为基线模型,引入Swin_Transformer作为骨干网络提取底层特征。在特征金字塔(feature pyramid networks,FPN)中,通过将多尺度注意力热图与底层特征通过横向连接相融合,使检测器的不同层级专注于特定尺度的目标,并利用相邻层注意力热图之间的关系实现了FPN结构中的纵向特征共享,避免了不同层之间梯度计算的不一致性问题。实验结果表明:在ICDAR2015数据集上,该方法的准确率、召回率和F值分别达到了88.3%、83.07%和85.61%,在CTW1500和Total-Text弯曲文本数据集上相较现有方法均有良好表现。

基于深度学习的水下目标识别技术

在水下复杂场景下,目标对象具有姿态不同、遮挡和背景复杂等特点,这对卷积网络的特征提取能力提出巨大挑战。Mask R-CNN算法在水下目标特征提取过程中也存在特征提取能力欠佳的问题,导致算法在水下目标检测准确性较差。因此,提出一种基于Mask R-CNN的改进水下目标目标识别方法。首先可采用金字塔切分的通道注意力模块PAS代替采用了ResNet50的3×3卷积模块,该模块可通过对每个通道进行金字塔的切分,针对通道切分完成后所得出来的通道特征图上的空间信息来进行不用的尺度特征层提取;同时通过采用另一种更加安全稳定和高效的ECANEt通道注意力模块代替PAS模块中的SENet通道注意力模,对多维度的通道注意力权重进行特征重标定;最后对特征金字塔FPN的网络结构进行改进,加强不同特征层之间的信息融合。根据不同场景下进行的实验对比,改进后的网络能够提高水下目标识别的准确率,平均检测精度可达91.3%。本文所提出的改进Mask RCNN网络模型,能够适应水下复杂多变的场景,为水下目标的识别提供理论依据与技术方案。

基于Mask R-CNN的地质雷达岩溶预报图像识别研究

岩溶隧道开挖可能遭遇岩溶涌水、突泥等岩溶地质灾害,地质雷达能够有效预报岩溶等地质灾害。然而,传统地质雷达图像解译存在专家经验依赖性强、解译效率慢且易误判漏判等情况。本文采用可实现端到端识别的深度学习技术开展地质雷达图像目标检测与识别的研究,将基于Mask R-CNN的卷积神经网络算法应用于地质雷达岩溶预报图像异常的智能识别。在TensorFlow和Keras框架下,利用地质雷达设备采集获得的数据构建训练数据集和测试数据集,对Mask R-CNN深度学习模型进行训练,最终得到权重参数较好的地质雷达岩溶预报图像的双曲异常检测模型。试验结果及应用案例表明,Mask R-CNN目标检测方法在地质雷达岩溶预报图像的目标检测与识别上取得了良好的效果,有效提高了地质雷达图像的智能化识别效率。

基于空间注意力机制的Mask R-CNN致密储层岩石薄片图像鉴定

针对陆相致密储层岩石薄片鉴定识别难、制片成本高、时间消耗长和人为主观强等难题,选取鄂尔多斯盆地临兴区块上古生界和松辽盆地三肇凹陷扶余油层为靶区,提出一种基于深度学习的致密油储层岩石薄片人工智能鉴定方法,引入图像预处理技术去除岩石薄片图像噪声并统一图像像素大小,构建空间几何增广机制,基于空间注意力机制改进Mask R-CNN算法,并将上述方法应用于实例靶区进行有效性验证。结果表明:图像预处理技术能够在保障图像特征的前提下,有效提高图像质量,减少噪声干扰;空间几何图像增广机制能够在在一定程度上增加可用样本的数量;基于空间注意力机制的Mask R-CNN算法可以同时完成复杂岩石薄片成分的分割与智能识别工作,分割精度在不同数据集情况下的平均精度为89.2%,整体识别准确率为93%,适用于致密油储层岩石薄片特征鉴定。

基于牛脸和躯干综合信息的奶牛个体识别研究

针对基于单一信息对奶牛个体身份识别精度低的问题,本文提出1种基于牛脸和躯干综合信息对奶牛个体身份识别的方法。在Mask R-CNN目标检测模型的基础上进行改进,将注意力机制模块引入到Mask R-CNN的ResNet50特征提取网络的输出阶段,能够在图像通道和空间上增强奶牛身份信息。针对奶牛不同部位,本文对改进前后的Mask R-CNN模型分别基于牛脸、基于躯干以及基于牛脸和躯干综合信息进行了相关实验。实验结果表明,原始Mask R-CNN模型基于牛脸和躯干综合信息进行奶牛个体识别,比单独基于牛脸或躯干的识别精度提高2.3%~3.7%。改进后的Mask R-CNN模型在自建奶牛图像数据集上的准确率达到了93.63%,mAP值达到92.16%,相较于原始Mask R-CNN,准确率提高了2.92%,mAP值提高了2.63%。本文方法能够实现对养殖场环境下奶牛个体身份的识别,可为奶牛的精准养殖提供技术支持。

基于FPGA加速的Mask R-CNN稻瘟病高通量自适应识别模型研究

针对基于图像的稻瘟病现场检测技术依赖先验知识且受制于算力与田间网络状况,无法实现自适应实时检测的问题,提出一种可利用现场可编程门阵列(Field programmable gate array,FPGA)加速的Mask R-CNN(Mask region-based convolutional neural network)稻瘟病高通量自适应快速识别模型。首先将骨干网络改进为MobileNetV2,利用其倒残差模块降低计算量,提高模型并行处理能力;随后增加用于稻瘟病多尺度特征融合的特征金字塔网络模块,使模型具备多尺度自适应处理能力;最后由全卷积网络(Fully convolutional network,FCN)分支输出稻瘟病病斑的实例分割,同时使用交叉熵损失函数完成稻瘟病的定位与分类。稻瘟病实测数据集对模型的验证结果表明:当输入为全高清图像时,模型平均推理时间减少至85 ms,相较GPU服务器、同级别GPU边缘计算平台,速度分别提高86.2%、63.0%。在交并比为0.6时,准确率可达98.0%,病斑捕获能力平均提升21.2%。提出的Mask R-CNN自适应快速识别模型能够在田间恶劣网络状况下实现稻瘟病的快速现场检测,具有更好的抗噪能力和鲁棒性能,为水稻病害实时检测、察打一体提供了高效实时的片上系统方案。

改进Mask R-CNN的馆藏报纸图像内容分割

开展馆藏报纸图像内容分割研究,能提升文字识别准确率,对促进机器识别取代人工操作、提高图书馆数字化工作效率具有重要意义。文章根据报纸图像呈现的特征,提出一种基于改进MaskR-CNN的算法,实现报纸图像内容分割。首先,通过优化锚框比例和损失函数,对原始MaskR-CNN算法进行改进。其次,采用数据增强、调整训练参数开展样本训练。最后,通过实验的方式对改进后的MaskR-CNN算法训练模型和原始算法训练模型进行比较,并采用AP_bbox和AP_segm评价指标对实验结果进行评估,改进后的算法训练模型AP_bbox为0.935,AP_segm为0.943,均超过原始算法训练模型。实验结果表明,改进后的MaskR-CNN算法能够实现报纸图像内容有效检测与分割。

基于改进Mask R-CNN的青菜杂质检测研究

绿叶蔬菜的智能包装加工是实现绿叶蔬菜智能化生产、降低生产成本的重要部分,对绿叶蔬菜在包装加工时的杂质检测是其重要前提。以青菜为研究对象,提出一种基于Mask R-CNN的青菜杂质检测模型。首先采集标注掺杂枯树叶、枯菜叶和碎纸片3种常见杂质的青菜图像1370多张,并通过数据增强的方法扩充建立含有2740张青菜杂质图像的数据集。为减少背景对杂质检测的影响,通过在Mask R-CNN模型中加入协调注意力机制,同时添加全连接层和Dropout层,增强模型特征提取能力,减少过拟合现象,并使用迁移学习方法对模型进行微调。结果表明改进后的Mask R-CNN算法对青菜杂质识别的平均精度均值为99.19%,检测速度为8.45 FPS,检测效果良好,可以满足青菜杂质的检测需求。

基于深度学习的实例分割边界框回归方法研究

针对实例分割任务中图像中可能出现相互遮挡或边缘模糊导致边界框定位不准确的问题,本文提出了一种新的边界框回归损失函数。将边界框位置预测转化为估计定位置信度随位置变化的概率分布;考虑坐标点间存在联系,提出一种面积差计算方法;为了证明此方法可以很好地应用于先检测后分割的实例分割模型,本文使用Mask R-CNN作为基线。实验结果表明:在边界框检测及实例分割任务中,本文方法的精度优于其他方法,对于小物体的检测与分割效果更显著,训练和评估速度也更快。

基于Mask R-CNN的电力关键设备运行状态检测

为判断电力关键设备两端负载电压与干路总电压之间的数值关系,提出基于Mask R-CNN的电力关键设备运行状态检测方法。在Mask R-CNN网络结构中,判断电量信号的时域范围与频域范围。然后根据负荷阻抗特征计算交流参数的取值结果,再联合已获取的电信号参量,求解连续相关函数,从而检测电力关键设备运行状态。实验过程中,设备两端负载电压、内阻消耗电压之和与干路总电压之间的差值未超过1.5 V,说明该方法能够证明电力关键设备两端负载电压、内阻消耗电压之和等于干路总电压数值的猜想成立,可以根据该验证检测电力关键设备运行状态是否正常。

基于改进Mask R-CNN的笼养死鸭识别方法

针对规模化笼养肉鸭舍内死鸭识别采用人工作业方式时,存在作业效率低、劳动强度大、养殖成本高等问题,以层叠式笼养肉鸭为研究对象,提出了一种基于深度学习的笼养死鸭识别方法。为了采集数据,首先面向立体层叠式养殖环境设计了一款适用于肉鸭舍的自主巡检装备。针对笼养肉鸭舍铁丝网遮挡严重的问题,基于机器视觉对笼网进行修复,基于OpenCV对图像进行增强处理。构建了一种基于Mask R-CNN的死鸭识别模型,采用Swin Transformer对模型进行优化,解决了Mask R-CNN网络缺乏整合全局信息能力的问题。对比分析了SOLO v2、Mask R-CNN和Mask R-CNN+Swin Transformer模型识别笼内死鸭准确率。实验结果表明,在平均精度均值为90%的条件下,Mask R-CNN+Swin Transformer模型对笼内死鸭总体识别准确率可达95.8%,在自主巡检装备上的检测效果优于其他主流的目标检测算法。

基于尾灯灯语的混行交通流车辆驾驶意图识别模型研究

针对长期存在自动驾驶车辆(autonomous vehicle,AV)与人工驾驶车辆(human-driven vehicle,HV)混行的交通现状,结合深度学习和HSV颜色特征提取方法,提出了一种在混行交通环境下基于尾灯灯语的车辆驾驶意图识别模型。以Mask R-CNN(mask region proposal convolutional neural network)车辆模型检测出的感兴趣区域RoI(region of interest)为限制,将区域内的HV作为研究对象,根据尾灯位置相关性,在HV车尾区域添加纵横向约束来定位传递灯语信号的左右尾灯;在规定的灯语组合及转向灯闪烁频率基础上,提出了一种基于时间序列的灯语识别算法,运用多目标判别相关性滤波CSRT(channel and spatial relatability tracking)跟踪HV尾灯并统计尾灯时序状态;以动态灯语作为输入,构建基于尾灯灯语的驾驶意图识别模型;使用基于真实路况信息的Cityspaces数据集和交通流视频数据对模型进行训练、验证和测试。研究结果表明:基于尾灯灯语的驾驶意图识别模型对视频流车辆尾灯检测准确率和召回率分别为96.0%、98.2%,对驾驶意图识别的平均准确率达到了95.9%,单帧识别耗时为20 ms,为高速混行环境下的AV决策规划提供了有效的理论依据。

稀疏可变形卷积与高分辨率融合的接触网螺栓病害检测

列车长期运行产生的震动易导致接触网螺栓处于松动、脱落等不良状态,接触网取流异常会严重影响行车安全。针对高速铁路接触网螺栓病害检测时,易受复杂背景干扰及螺栓松动病害难以检测等问题,提出一种稀疏可变形卷积与高分辨率融合的接触网螺栓病害检测方法。首先,构建稀疏动态可变形卷积构成的特征提取网络,通过增大感受野范围,来捕捉不同尺度下螺栓的形状特征,加强模型对螺栓小尺寸对象特征的提取能力。然后,设计高分辨率特征金字塔融合模块,将螺栓深层特征和浅层特征的高分辨率特征图进行充分融合,提高多尺度特征图的利用率。其次,提出基于连通域统计的螺栓松动判别方法,通过统计被截断螺栓的连通域个数,完成螺栓松动病害状态检测。最后,由高速铁路接触网螺栓检测试验得出:所提方法可以准确检测螺栓的缺失和松动病害,且具有较高的检测精度,相比改进前Mask R-CNN检测方法准确率增加了41.4个百分点、召回率增加了27.3个百分点、像素精确度提升28.11个百分点、F1-score达83.4%。同时,对接触网螺栓网络模型的检测效率进行试验,较Mask R-CNN的浮点计算效率提升了36.23%。对不同场景下接触网螺栓检测对比试验表明,所提方法具有良好的适应性和精确度,对于螺栓松动和缺失病害检测提供了更为准确的方法,对后期接触网智能化检测具有一定的参考意义。

融合改进Transformer的车辆部件检测方法

为有效解决车辆部件检测中模型由于特征提取不充分以及候选框未能充分利用导致的错检、漏检等问题,提出了融合改进Transformer的车辆部件检测方法。首先将多头自注意力和双层路由注意力结合,提出了关键区域多头自注意力(KR-MHSA);然后将基线模型(Mask R-CNN)中ResNet的最后一层与KR-MHSA进行残差融合,提升了模型的基础特征提取能力;最后通过改进的Swin Transformer对模型生成的候选框进行特征学习,使模型更好地理解不同候选框之间的差异和相似性。实验在构建的59类车辆部件数据集上进行,对比实验结果证明,本文模型在检测和分割效果上均优于其他先进实例分割模型。相较于基线模型,检测准确率提高了4.47%,分割准确率提高了4.4%,有效地解决了车辆部件检测中特征提取不足和候选框未充分利用导致的错检、漏检和实例分割精度较低的问题,使保险公司能够更准确、更高效地更换损坏的部件,提高索赔效率。

基于机器学习的人脸识别系统研究

随着计算机视觉和机器学习技术的快速发展,基于深度学习的人脸识别技术在各个领域得到了广泛的应用。在环境稳定的情况下,这项技术已经具备了很高的准确性。然而,在人员密集、光源条件欠佳的特定环境下,人脸识别技术的应用会面临一系列挑战。传统的人脸特征提取方法往往难以准确地捕捉到人脸的特征信息。为了解决这些问题,文章提出了一种基于深度学习技术的解决方案,通过该技术,可以提高计算机对非局部环境下的人脸快速识别能力。

基于红外热像的车站混凝土结构损伤智能检测方法

车站作为一种典型的混凝土建筑,受工艺和材料配比的限制,大多数混凝土结构均具有一定的内部缺陷。因此,为了保证车站人员的安全,研究提出了一种基于红外热像及掩膜循环卷积神经网络的混凝土结构内部损伤智能检测方法。实验结果显示,该方法对不同类型缺陷的检测精度最高为99.7%,最低为93.3%;Io U最高为98.4%,最低为91.5%。在缺陷尺寸量化中,预测尺寸与实际尺寸的比值均趋近于1,二者的相对误差最大为1.35%,最小为0.04%,平均相对误差为0.70%。在实际应用中,智能检测模型的平均精度均值、平均Io U和平均召回率分别为92.1%、90.2%和84.4%,相较于测试中有所下降,但仍保持在良好水平上。上述结果表明,基于红外热像及掩膜循环卷积神经网络的智能检测模型能有效实现混凝土内部损伤的准确检测,有效保障车站混凝土结构的性能。

基于改进Mask R-CNN的矿石类型检测算法

针对不同的矿石类型进行选矿工艺参数设置和操作有利于保障精矿质量,提高回收率和降低物资消耗。由于缺乏矿石类型实时检测有效手段,选矿过程的精准操作目前较难实现。为此,本文提出一种全面改进的Mask R-CNN矿石类型检测算法。算法步骤:①使用ResNetV1d-50提取矿石图像各阶段的特征图,并在主干网络中加入可变形卷积以便增强异形矿石的特征;②改进FPN,通过在主干网络的C5特征层加入特征残差模块,并融合到P5特征层,得到具有更强语义信息的多尺度特征图;③改进RPN,设计自适应的正样本IOU选取方案来匹配宽高比异常的矿石,进一步提高异形矿石的识别精度;④在RoIAlign网络基础上加入Global-Context,以提高小矿石的检测能力;⑤在数据增强和训练技巧方面对模型进行改进。结果表明,本文算法的平均精度为67.92%,平均交并比为63.54%,分别比基准模型提高了13.67%和9.71%。本文研究方法在矿石类型识别领域具有较好的应用价值。

基于视觉惯性的动态环境下SLAM方法

针对传统视觉惯性SLAM在动态环境下则会出现鲁棒性差的问题,提出一种可用于室内的动态环境的视觉惯性SLAM方法.结合室内动态物体的特点,提出了一种基于先验假设的语义信息方法,利用Mask R-CNN现实潜在动态对象识别.为解决语义分割网络短时间内分割图片有限的问题,融合光流估计对未分割图像进行分割预测.最后,通过动态特征点过滤算法实现动态特征点与静态特征点的分离.在基于OpenLORIS数据集进行实验表明,该方法在高动态环境下能够有效提高SLAM系统的定位精度及鲁棒性.

适应遮挡条件下奶油生菜的实例分割方法研究

利用机器视觉技术测量生菜的表型参数对探索生菜的生长规律有着非常重要的意义,而构建生菜个体的识别及轮廓分割算法是实现表型参数精准测量的重要前提;但是,在生菜培育至采收期,俯视图下生菜个体间叶片相互重叠遮挡,对个体识别和轮廓分割造成很大的阻碍。为此,改进了Mask R-CNN神经网络模型,掩膜分支采用class-agnostic模式,以ResNeXt50联合FPN替换原有的卷积主干,实现了遮挡条件下奶油生菜的个体识别和轮廓分割。为了对改进模型的分割精度进行验证分析,采用平均精度AP75和平均检测耗时作为评价指标,与原始Mask R-CNN、DeepMask、MNC分割模型在不同程度遮挡测试集上设置对比试验。结果表明:改进模型的平均精度达到98.7%,相比原模型提高了约4%,且在重度遮挡测试集上依然能够保持良好的分割精度。研究结果可为遮挡条件下植物叶片的识别和分割提供算法参考,也可为奶油生菜的表型参数提取提供技术支持。

基于改进Mask-R-CNN网络的轨道交通运行环境感知技术应用研究

为了提升轨道交通列车运行环境感知能力,进一步保障列车运行环境安全,针对列车运行前方各类障碍物侵限问题,提出一种基于改进Mask-R-CNN网络的轨道交通运行环境感知技术方案。通过阐述列车运行环境感知系统设计需求,对其进行结构设计。分析Mask-R-CNN深度视觉模型,论述其功能对列车运行环境感知需求的适用性,使用轻量级MobileNetV2骨干网络及PointRend模块对Mask-R-CNN网络进行改进优化,进一步提升实时性和准确性。在真实列车运行环境中采集列车运行前方展望数据,标注形成自有数据集,结合公共数据集对模型进行训练,经验证改进后模型F-Measure评价值达到95.56%,同时具有准确率高、实时性好、易于部署等优点,可以满足下一步轨道交通发展新需求,是计算机视觉技术在轨道交通领域的一种新探索。