基于改进Mask RCNN和Kinect的服务机器人物品识别系统

服务机器人在近年来得到了快速的发展,其应用的算法也在不断地更迭,目标检测算法便是其中之一。在保证目标检测精度的前提下,目标检测速度决定着机器人目标物抓取的效率。因此将远距离小目标场景作为测试场景,改进现有网络模型,目的是在保证检测精度的前提下提升检测速度。掩码区域卷积神经网络(Mask RCNN)是目前目标检测领域应用较广的算法,通过对其网络结构研究发现,掩码分支和过多的全连接层会占用大量网络检测时间;同时,Mask RCNN提取到的特征图具有较高的维度,其会占用大量的计算内存,产生大量的计算任务。为此,Mask RCNN进行改进,如去掉掩码分支和多余的全链接层;将头部轻量化区域卷积神经网络(LH-RCNN)引入到Mask RCNN中;调整区域建议网络(RPN)中锚点(Anchor)的比例。最后,本文在带有KinectⅡ的家庭服务机器人平台上对改进的Mask RCNN进行测试,测试结果表明,与原始的Mask RCNN相比,改进的Mask RCNN在保证检测精度的同时,可以大幅提高算法运行的速度,检测时间缩短2倍以上,提高服务机器人目标抓取任务的效率。

改进Mask R-CNN算法的带钢表面缺陷检测

在带钢的生产过程中可能会因为生产工艺的问题导致带钢表面出现缺陷,传统的带钢表面检测方法存在检测速度慢、检测精度低等问题。在计算机深度学习快速发展的今天,为实现带钢表面缺陷快速有效的检测,提出改进的掩码区域卷积神经网络(MaskR-CNN)算法,使用k-meansII聚类算法改进区域建议网络(RPN)锚框生成方法;同时调整MaskR-CNN模型的网络结构,去掉掩码分支,提高了模型的缺陷检测速度。实验在NEU-DET数据集的5种缺陷检测中将原算法的均值平均精度(mAP)从0.8102提升到0.9602,检测速度达到5.9 frame/s。并且能够实现对缺陷目标的检测和实例分割,以便研究人员观测缺陷的大小和形状,从而改进工艺。相比于目前其他深度学习的缺陷检测算法,更能满足带钢的生产检测要求。

基于改进Mask R-CNN的番茄侧枝修剪点识别方法

为解决番茄枝叶修剪机器人无法准确识别番茄侧枝修剪点的问题,提出基于改进Mask R-CNN模型的番茄侧枝修剪点的识别方法。将Mask R-CNN的主干网络ResNet50替换为MobileNetv3-Large来降低模型复杂度和提升运行速度,并对部分特征图添加ECA(Efficient Channel Attention)注意力机制,以提升模型精度;通过改进的Mask R-CNN模型预测番茄侧枝与主枝的分割掩膜和边框位置;针对部分单根枝条被分割成多段掩膜的问题,通过掩膜边界框宽高比区分侧枝和主枝,分析同一枝条相邻掩膜约束条件,然后将符合约束条件的掩膜进行合并连接;根据修剪点在主枝附近的特点确定修剪点所在端,确定靠近修剪端端点的中心点作为侧枝的修剪点。试验结果表明,改进的Mask R-CNN模型平均分割图片时间为0.319 s,召回率和精确率分别为91.2%和88.6%,掩膜平均合并成功率为86.2%,修剪点识别平均准确率为82.9%。该研究为番茄枝叶修剪机器人的研发提供参考。

监控视角下密集人群口罩佩戴检测算法

针对密集人群场景的口罩佩戴检测面临着监控视角下目标密集、互相遮挡、目标小、人脸透视畸变等难题,同时,涵盖不规范佩戴口罩场景的公开数据集也较为缺乏。提出一种基于YOLO-v5改进的监控视角下密集人群口罩佩戴检测算法MDDC-YOLO。利用空洞卷积构造多分支感受野模块MRF-C3替换YOLO-v5中常规C3模块,解决密集人群中小目标占比大的问题。使用Repulsion Loss基于样本边界框排斥吸引的原则提高模型抗遮挡能力,并充分利用训练过程中的遮挡正样本。在此基础上,引入ECA注意力机制进行特征通道最优化选择,并提出基于透视变换的离线数据增强方法,结合使用更适用于生成更多小目标样本的Mosaic-9数据增强方法,解决监控视角下密集人群口罩佩戴数据集缺乏的问题。实验结果表明,MDDC-YOLO算法相较于YOLO-v5算法mAP提升6.5个百分点,并达到32帧/s的检测速度,满足密集人群口罩佩戴检测的应用需求。

高分辨率遥感图像中建筑物提取的边界精细化卷积神经网络

随着遥感图像解译在城乡规划和数字化城市建设等领域的广泛应用,对遥感图像中的建筑物进行完整地、准确地检测具有非常重要的研究意义和应用价值。近年来,深度学习技术被广泛应用于遥感图像中的建筑物提取。然而,如何从高分辨率遥感图像中完全地、准确地提取建筑物仍然面临着巨大的挑战。因此,文章提出了一种边界精细化的建筑物提取方法,命名为BR-Mask R-CNN。首先,文章采用多特征融合网络ResNeXt101-FPN作为主干特征提取网络,以提高小型建筑物的提取精度。然后,利用边界精细化掩码分支将边界保护分支和Mask分支集成起来,以保护建筑物的边界信息,并实现更加准确的掩码预测。最后,文章在两个公开的建筑物提取数据集上验证了所提出方法的有效性,实验结果表明该文的方法在许多评价指标上都有较好的效果。

基于Landsat ETM+影像的水体信息综合提取方法

以Landsat-7 ETM+影像为例,对比分析了常用的水体信息提取方法。针对已有方法无法准确提取河网支流和细小水体信息的缺点,提出了一种水体信息综合提取方法。方法利用谱间关系((TM2+TM3)-(TM4+TM5))和缨帽变换湿度分量TCW建立提取水体的最优空间掩膜,使用最大似然法去除最优空间掩膜中其他的地物信息。在浙江省绍兴及周边区域的实际工作中,本文方法较为完整地提取了研究区的水体信息,包括河网支流和细小水体。提取的相对精度优于其他方法。

应用网络规划进行InSAR相位解缠的路径跟踪算法

介绍InSAR相位解缠算法中Goldstein枝切法和基于质量指导的Mask-cut等路径跟踪法的基本原理,分析它们的特点;详细阐述基于网络规划的规则格网和不规则格网的最小费用流相位解缠算法的基本原理,说明网络规划算法在效率和精度上确实优于其他路径跟踪算法,是一种极具潜力的相位解缠方法。

基于曲面特征的截断线掩膜解相技术的研究

在条纹投射测量方法中,由于三角测量法固有的特点,将有效测量区域从含有背景、阴影、表面不连续等区域的条纹图中分辨出来,完成相位去包裹计算,是一个实际测量中的难点之一。本文借鉴图像分割的原理,对调制度分布图进行分析,提出一种基于调制度自动分割的物体轮廓有效测量区域自动识别方法,实验结果表明,该方法能够实现阈值的最佳选取,自动识别物体轮廓有效测量区域,并根据变形图与极点的关系,提出由A trous algorithm of wavelet transform(多孔小波算法)来检测曲面变形的奇异点,通过奇异点辅助来连接截断线,从而实现快速有效地解相并提高三维测量的精度。

FLSM和VLSM在子网划分中的应用研究

合理地利用子网掩码和变长子网掩码规划网络,可以将网络地址空间细分,增加网络上的用户,避免IP地址空间浪费,并减少网络上数据流量,提高网络传输效率。本文从应用的角度讨论了子网掩码和变长子网掩码的使用方法,并以实例说明两者在网络规划中的作用。

一种新的InSAR合成相位展开算法

提出一种新的InSAR二维相位展开方法。该合成算法充分利用了枝切法和有限元方法的优点。方法的核心是确定相位可靠区域与不可靠区域,有效避免了相位误差从不可靠区域向可靠区域的传递,保证了可靠区域相位展开结果的精度,较大程度上提高了整体的相位展开结果精度。仿真数据实验结果验证了这种合成算法的有效性。

基于多任务级联卷积神经网络的交通标志检测

为解决复杂驾驶环境中小目标交通标志的高精度检测问题,基于Cascade R-CNN级联模型提出一种多任务级联模型GA-CMF R-CNN(guided anchoring-cascade mask flow R-CNN)。采用ResneXt101(32×4d)-FPN作为特征提取网络,确保特征图的语义信息和分辨率信息;采用GA-RPN作为区域生成网络,提高网络特征表达能力;模型融合Mask R-CNN的mask分支,在级联的mask分支间添加信息流,通过对先验框中的目标进行语义分割,提高检测精度。在公开交通标志检测数据集上的测试结果表明,该模型能有效提高复杂环境下小目标交通标志的检测和识别精度。

基于深度学习的图像实例分割

提出了一种基于深度学习的精确图像分割方法。在Mask-R-CNN网络基础上给出一种实例分割网络。针对精确边界分割问题,提出通过重新设计掩码分支结构,来改善边界分割精度。在掩码分支上使用了前后层特征融合的方法可以更好的保留边缘信息。进一步通过增大RoIAlign层的分辨率,得到了更加精确的边界信息。在不影响算法精度的前提下采用深度可分离卷积减少了训练参数,提高了分割算法的效率。实验时通过比较mAP(平均准确率)的结果和检测定量图片需要的时间以及消耗的内存表明该算法的精确性和高效性。

高效UKF相位解缠算法

针对传统的无味卡尔曼滤波相位解缠算法解缠精度和解缠效率难以平衡的问题,提出一种高效无味卡尔曼滤波(unscented Kalman filter,UKF)相位解缠算法。首先,根据干涉图生成相应的枝切线分布图;其次,利用二阶差分函数计算干涉图中各像元的二值化质量权值矩阵;然后,由枝切线分布图以及二值化质量权值矩阵生成可靠性掩模图,该可靠性掩模图将干涉图分为权值为“1”的高质量像元(非枝切线上的二值化质量权值为“1”的像元)、权值为“0”的低质量像元(枝切线上的像元、二值化质量权值为“0”的像元以及枝切线围成的闭环区域中的像元)两部分;最后,由可靠性掩模图确定解缠路径,先利用UKF相位解缠程序按照像元扩散策略解缠高质量像元,余下未解缠像元根据已解缠像元信息,利用UKF相位解缠程序按照行(或列)的方式进行解缠。模拟数据及实测数据实验结果表明,该算法能够高效与稳健地处理干涉图的相位解缠问题。

多尺度特征融合与交叉指导的小样本语义分割

目的构建支持分支和查询分支间的信息交互对于提升小样本语义分割的性能具有重要作用,提出一种多尺度特征融合与交叉指导的小样本语义分割算法。方法利用一组共享权重的主干网络将双分支输入图像映射到深度特征空间,并将输出的低层、中间层和高层特征进行尺度融合,构造多尺度特征;借助支持分支的掩码将支持特征分解成目标前景和背景特征图;设计了一种特征交互模块,在支持分支的目标前景和整个查询分支的特征图上建立信息交互,增强任务相关特征的表达能力,并利用掩码平均池化策略生成目标前景和背景区域的原型集;利用无参数的度量方法分别计算支持特征和原型集、查询特征与原型集之间的余弦相似度值,并根据相似度值给出对应图像的掩码。结果通过在PASCAL-5^(i)(pattern analysis,statistical modeling and computational learning)和COCO-20^(i)(common objects in context)开源数据集上进行实验,结果表明,利用VGG-16(Visual Geometry Group)、ResNet-50(residual neural network)和ResNet-101作为主干网络时,所提模型在1-way 1-shot任务中,分别获得50.2%、53.2%、57.1%和23.9%、35.1%、36.4%的平均交并比(meanintersectionoverunion,mIoU),68.3%、69.4%、72.3%/和60.1%、62.4%、64.1%的前景背景二分类交并比(foreground and background intersection over union,FB-IoU);在1-way 5-shot任务上,分别获得52.9%、55.7%、59.7%和32.5%、37.3%、38.3%的mIoU,69.7%、72.5%、74.6%和64.2%、66.2%、66.7%的FB-IoU。结论相比当前主流的小样本语义分割模型,所提模型在1-way 1-shot和1-way5-shot任务中可以获得更高的mIoU和FB-IoU,综合性能提升效果显著。

针对遮挡物体的轮廓细化实例分割

目的 遮挡物体实例分割效果的好坏与物体轮廓的预测结果息息相关,但目前算法预测的物体轮廓并不够细化,使得分割掩膜粗糙,物体边界分割效果不佳。为此,以BCNet(bilayer convolutional network)网络为基础,提出一种针对遮挡物体的轮廓细化实例分割算法,预测的物体轮廓更加精细,分割掩膜更加完整。方法 1)提出一种均衡池化注意力模块来提取特征,在传统一维平均池化的基础上,增加一维最大池化操作以突出细节特征,并将最大池化和平均池化结果进行加权融合来提取特征,使提取的特征能更好地兼顾物体的整体和边缘细节;2)将BCNet掩膜头中轮廓预测与掩膜预测分成两个支路来进行,从特征金字塔最高分辨率特征中提取感兴趣区域(region of interest, RoI)特征用于轮廓预测,并提出一种自适应特征融合模块,将轮廓预测支路中的特征与掩膜预测支路的特征进行融合,在轮廓预测支路中,融合掩膜预测支路的特征可以更好地判定轮廓所属物体类别,在掩膜预测支路,融合轮廓预测支路的特征能够更好地辅助掩膜定位。结果 在COCO 2017(common objects in context 2017)数据集上,本文相较于目前同类网络中性能最优的BCNet网络,在骨干网络为ResNet-50/101(deep residual network)时平均精度(average precision,AP)分别提高了1.7%和2.1%。结合可视化结果,本文分割算法对遮挡物体的轮廓分割更加精细,能有效分割出更加完整、精细的掩码。结论 提出的针对遮挡物体的轮廓细化实例分割算法,明显提升了遮挡物体实例分割的效果。