视觉SLAM方法综述

实时定位与建图(SLAM)技术搭载特定传感器,使移动机器人在无任何环境先验条件下,在运动过程中自主建立环境模型来计算自身位姿,大幅提高其自主导航能力,以及对不同应用环境的适应性。视觉SLAM方法以相机作为外部传感器,通过采集周围环境信息来创建地图并实时估计机器人自身位姿。为此,介绍了具有代表性的经典视觉SLAM方法及与深度学习相结合的视觉SLAM方法,分析了视觉SLAM方法中采用的不同特征检测方法、后端优化、闭环检测,以及动态环境下视觉SLAM方法的应用,总结了视觉SLAM方法的问题,并探讨了视觉SLAM方法在未来的热点研究方向和发展前景。

改进YOLOv7算法的钢材表面缺陷检测研究

当前,基于深度学习的智能检测技术逐步应用于钢材表面缺陷检测领域,针对钢材表面缺陷检测精度低的问题,提出一种高精度实时的缺陷检测算法CDN-YOLOv7。加入CARAFE轻量化上采样算子来改善网络特征融合能力,融合级联注意力机制和解耦头重新设计YOLOv7检测头网络,旨在解决原始头网络特征利用效率不高的问题,使其充分利用各尺度、通道、空间的多维度信息,提升复杂场景下模型表征能力。引入归一化Wasserstein距离重新设计Focal-EIoU损失函数,提出NF-EIoU替换CIoU损失,平衡各尺度缺陷样本对Loss的贡献,降低各尺度缺陷的漏检率。实验结果表明,CDN-YOLOv7的检测精度可达80.3%,较于原YOLOv7精度提升了6.0个百分点,模型推理速度可达60.8帧/s,满足实时性需求,CDN-YOLOv7在提升各尺度缺陷检测精度的同时显著降低了缺陷的漏检率。

基于改进YOLOv5s的小目标检测算法

针对当前主流目标检测算法对图像中远距离小目标产生的漏检、误检等问题,提出一种改进YOLOv5s的小目标检测算法。在模型训练过程中,通过引入Focal-EIOU定位损失函数,加强边界框的定位精度;在骨干网络中,通过添加小目标检测层,提高小目标的检测精度;在Neck结构中,通过优化上采样算子和添加注意力机制,加强小目标的特征信息。实验结果表明,改进后的算法在VisDrone数据集上与YOLOv5s算法相比,mAP@small提高了3.2%,且检测速度满足实时性的要求,能够很好地应用于小目标检测任务中。

混凝土坝面作业场景智能识别ResNet50-SEMSF方法

为提高混凝土坝面作业场景识别工作效率,提出了一种混凝土坝面作业场景智能识别方法(ResNet50-SEMSF)。将采集的坝面施工现场监控视频分割为图像,分析混凝土坝面作业人、机、料、环境等实体要素图像特征,界定坝面作业典型场景;以残差网络(ResNet50)为骨干网络结构,引入挤压激励(SE)注意力机制,关注不同通道间特征关系,提升坝面作业场景图像中多目标实体要素关键特征表达能力;融合下采样多尺度特征,保留坝面作业场景图像低级特征和高级语义信息,增强模型对图像不同层次特征的理解能力,克服尺度变化、目标变形等问题。对比分析其他3种卷积神经网络模型试验结果,使用梯度类激活映射(Grad-CAM)可视化方法,解释ResNet50-SEMSF模型对场景类别中实体要素信息的关注程度。结果表明:ResNet50-SEMSF识别效果明显优于ResNet50、MobileNetV2、VGG16等经典网络模型,表明ResNet50-SEMSF模型用于混凝土坝面作业场景智能识别的可行性,为混凝土坝面施工安全管理工作提供参考。

复杂战场环境下改进YOLOv5军事目标识别算法研究

复杂战场环境下军事目标识别技术是提升战场情报获取能力的基础和关键。针对当前军事目标识别技术在复杂战场环境下漏检误检率高、实时性差等问题,提出一种基于改进YOLOv5模型的PB-YOLO军事目标识别算法。将改进的目标识别算法对于陆战场军事单元的识别锚框进行重新聚类,以提升模型对于目标大小适应度,加速模型收敛;采用通道-空间并行注意力机制,增加模型对复杂战场环境下目标特征信息与位置信息关注度;在特征融合网络部分使用BiFPN以提升模型对于特征的融合能力与速度;采用Alpha_IoU损失函数加速模型收敛,解决当真实框与预测框重合时IoU计算退化问题。实验结果表明,在自建军事目标数据集下,改进算法与主流目标识别算法相比,在保证模型空间复杂度的同时,mAP值达到了90.17%。消融实验对比结果表明,改进后网络较原模型精度提升11.57%,具有较好的识别性能,能够为战场情报获取提供有效的技术支撑。

基于改进YOLOv5的安全帽检测算法

为了解决建筑工地、隧道、煤矿等施工场景中现有安全帽检测算法对于小目标、密集目标以及复杂环境下的检测精度低的问题,设计实现了一种基于YOLOv5的改进目标检测算法,记为YOLOv5-GBCW.首先使用Ghost卷积对骨干网络进行重构,使得模型的复杂度有了显著降低;其次使用双向特征金字塔网络(BiFPN)加强特征融合,使得算法对小目标准确率提升;引入坐标注意力(Coordinate attention)模块,能够将注意力资源分配给关键区域,从而在复杂环境中降低背景的干扰;最后提出了Beta-WIoU作为边框损失函数,采用动态非单调聚焦机制并引入对锚框特征的计算,提升预测框的准确率,同时加速模型收敛.为了验证算法的可行性,以课题组收集的安全帽数据集为基础,选用了多种经典算法进行对比,并且进行了消融实验,探究各个改进模块的提升效果.实验结果表明:改进算法YOLOv5-GBCW相较于YOLOv5s算法,算法平均精确率(IOU=0.5)提升了5.8%,达到了94.5%,检测速度达到了124.6 FPS(每秒处理帧数),模型更加轻量化,在复杂环境、密集场景和小目标场景下检测能力提升显著,并且同时满足安全帽检测精度和实时性的要求,给复杂施工环境下安全帽检测提供了一种新的方法.

基于改进YOLO v7轻量化模型的自然果园环境下苹果识别方法

针对自然果园环境下苹果果实识别中,传统的目标检测算法往往很难在检测模型的检测精度、速度和轻量化方面实现平衡,提出了一种基于改进YOLO v7的轻量化苹果检测模型。首先,引入部分卷积(Partial convolution, PConv)替换多分支堆叠模块中的部分常规卷积进行轻量化改进,以降低模型的参数量和计算量;其次,添加轻量化的高效通道注意力(Efficient channel attention, ECA)模块以提高网络的特征提取能力,改善复杂环境下遮挡目标的错检漏检问题;在模型训练过程中采用基于麻雀搜索算法(Sparrow search algorithm, SSA)的学习率优化策略来进一步提高模型的检测精度。试验结果显示:相比于YOLO v7原始模型,改进后模型的精确率、召回率和平均精度分别提高4.15、0.38、1.39个百分点,其参数量和计算量分别降低22.93%和27.41%,在GPU和CPU上检测单幅图像的平均用时分别减少0.003 s和0.014 s。结果表明,改进后的模型可以实时准确地识别复杂果园环境中的苹果,模型参数量和计算量较小,适合部署于苹果采摘机器人的嵌入式设备上,为实现苹果的无人化智能采摘奠定了基础。

修复缺陷嫌疑区域的无监督磁瓦表面缺陷检测

磁瓦表面缺陷样本数量少,异常视觉特征分布发散,现有依赖目标特征的有监督检测方法不能有效检测未定义缺陷;磁瓦表面正常纹理呈非均匀且非周期性分布,使得经典重构网络难以准确地重构磁瓦表面正常特征,导致相关无监督检测方法性能低下.为此,采用多头注意力增强的掩码图像修复网络(MIINet),长距离提取图像特征,捕捉全局信息,增强图像修复的能力;引入视觉显著性算法抑制磁瓦表面纹理信息和突显缺陷区域,以便二值化算法精准分割缺陷嫌疑区域;利用MIINet修复待检测图像缺陷嫌疑区域,选用修复前后图像的残差图像和结构相似性实现缺陷检测与缺陷判定.与经典无监督方法相比,修复缺陷嫌疑区域的表面缺陷检测方法的准确率提升了2.36%,F1值提升了1.62%.

新一代通用视频编码标准H.266/VVC:现状与发展

相比于上一代标准,新一代通用视频编码标准(H.266/VVC)在同等质量下能够节省大约50%的码率,且适用于多种多样的视频应用场景。论文从H.266/VVC的关键技术出发,对标准的现状、实现和应用发展进行深入探讨。H.266/VVC沿用既往标准中的双层码流体系和混合编码框架,针对帧内预测、帧间预测、变换、量化、环路滤波等所有主要编码模块进行了技术革新,并为屏幕内容视频等应用提供了高效的专用编码工具。H.266/VVC标准目前已处于实用化阶段,官方参考软件VTM和开源编解码器VVenC/VVdeC是目前最具代表性的软件编解码实现。对H.266/VVC的性能分析可以看出:H.266/VVC针对高分辨率视频取得的编码增益更为突出;主要编码工具对性能的贡献通常以复杂度为代价,但也有部分编码工具在提升编码性能的同时可降低整体编码复杂度。H.266/VVC的硬件实现面临诸多挑战,发展明显滞后于软件实现,现有研究主要集中在对具体编码模块的硬件加速方面。H.266/VVC标准发布之后,下一代视频编码标准的发展目前仍围绕混合编码框架进行探索,聚焦在两大方向:超越VVC的增强压缩关注更为先进的、非神经网络的编码工具,基于神经网络的视频编码则探索采用神经网络的编码工具。除此之外,部分或完全跳出现有混合编码框架的端到端视频编码也在飞速发展,未来视频编码标准与神经网络结合成为趋势,但面临着计算资源依赖和稳定结构两方面的考验。

边缘信息增强的显著性目标检测网络

针对显著性目标检测任务中识别结果边缘模糊的问题,提出了一种能够充分利用边缘信息增强边缘像素置信度的新模型。该网络主要有两个创新点:设计三重注意力模块,利用预测图的特点直接生成前景、背景和边缘注意力,并且生成注意力权重的过程不增加任何参数;设计边缘预测模块,在分辨率较高的网络浅层进行有监督的边缘预测,并与网络深层的显著图预测融合,细化了边缘。在6种常用公开数据集上用定性和定量的方法评估了该模型,并且与其他模型进行充分对比,证明设计的新模型能够取得最优的效果。此外,该模型参数量为30.28 M,可以在GTX 1080 Ti显卡上达到31帧·s^(-1)的预测速度。

改进YOLOv7的复杂道路场景目标检测算法

虽然基于深度学习的目标检测算法在道路场景中的目标检测方面已经取得了很好的效果,但是对于复杂道路场景中的密集目标,远处的小尺度目标检测精度低,容易出现漏检误检的问题,提出一种改进YOLOv7的复杂道路场景目标检测算法。增加小目标检测层,增加对小目标的特征学习能力;采用K-means++重聚类先验框,使得先验框更贴合目标,增加网络对目标的定位精度;采用WIoU(Wise-IoU)损失函数,增加网络对普通质量锚框的关注度,提高网络对目标的定位能力;在颈部和检测头引入协调坐标卷积(CoordConv),使网络能够更好地感受特征图中的位置信息;提出P-ELAN结构对骨干网络进行轻量化处理,降低算法参数量和运算量。实验结果表明,该改进算法在华为SODA10M数据集下的mAP达到64.8%,比原算法提高2.6个百分点,模型参数量和运算量分别降低12%和7%,达到检测精度和检测速度的平衡。

基于YOLO v5的农田杂草识别轻量化方法研究

针对已有杂草识别模型对复杂农田环境下多种目标杂草的识别率低、模型内存占用量大、参数多、识别速度慢等问题,提出了基于YOLO v5的轻量化杂草识别方法。利用带色彩恢复的多尺度视网膜(Multi-scale retinex with color restoration, MSRCR)增强算法对部分图像数据进行预处理,提高边缘细节模糊的图像清晰度,降低图像中的阴影干扰。使用轻量级网络PP-LCNet重置了识别模型中的特征提取网络,减少模型参数量。采用Ghost卷积模块轻量化特征融合网络,进一步降低计算量。为了弥补轻量化造成的模型性能损耗,在特征融合网络末端添加基于标准化的注意力模块(Normalization-based attention module, NAM),增强模型对杂草和玉米幼苗的特征提取能力。此外,通过优化主干网络注意力机制的激活函数来提高模型的非线性拟合能力。在自建数据集上进行实验,实验结果显示,与当前主流目标检测算法YOLO v5s以及成熟的轻量化目标检测算法MobileNet v3-YOLO v5s、ShuffleNet v2-YOLO v5s比较,轻量化后杂草识别模型内存占用量为6.23 MB,分别缩小54.5%、12%和18%;平均精度均值(Mean average precision, mAP)为97.8%,分别提高1.3、5.1、4.4个百分点。单幅图像检测时间为118.1 ms,达到了轻量化要求。在保持较高模型识别精度的同时大幅降低了模型复杂度,可为采用资源有限的移动端设备进行农田杂草识别提供技术支持。

大直径盾构隧道成型质量巡检方法研究

针对因工业应用成本限制,中、小盾构隧道成型质量无损检测技术迁移至大直径盾构隧道时精度、速度折损严重的问题,以巡检车为载体,集成二维激光扫描仪、编码器和计算机等设备,研制了大盾构隧道成型质量巡检车,并提出一种基于数字图像的盾构质量非对称巡检方法.分析大直径盾构的施工环境,滤除地面、车体点云,并采用邻域向量法提取中轴线,建立隧道中心坐标系.偏心布置巡检路线,按照点云密度将采样点云分为稠密侧和稀疏侧点云,通过不同方法实现对管片接缝特征的拾取:将稠密侧点云绕中轴线展开为二维灰度图像,并通过缩放、归一化、梯度阈值分割等方法实现接缝图像分割;基于直线方程对接缝进行分类,结合管片结构、布置点位,推导出稀疏侧接缝与稠密侧接缝的线性分布公式,间接拾取稀疏侧接缝.根据接缝特征点计算两侧管片边缘点云簇,计算管片错台量;剔除接缝点云簇,使用最小二乘法拟合隧道点云,计算隧道椭圆度.最后在某大直径盾构隧道进行巡检试验,试验结果表明:成型质量巡检车在十四米盾构隧道中巡检速度为3 km·h-1,与传统方法的错台量检测偏差小于2 mm,椭圆度检测偏差小于0.1%,可以满足大直径盾构隧道成型质量巡检的高速度、高精度、低成本需求.

基于NVAE和OB-Mix的小样本数据增强方法

由于深度学习模型对海量标注数据的依赖性较高,导致目前许多前沿性目标检测理论难以适用于工业检测领域。为此,提出一种基于NVAE图像生成和OB-Mix数据增强的小样本数据扩充方法。具体方法是通过NVAE构建检测目标的数据分布模型,再通过采样潜变量的方式生成与真实目标图像属于同一分布的全新目标图像。在得到生成目标图像后,提出了OB-Mix数据增强策略,将生成目标图像与背景图像进行随机位置融合以构建出新的图像数据,从而提高网络的定位能力及泛化能力。方法在仅使用474张标注图像以及400张无检测目标的背景图像情况下,使YOLOv5的检测精确率达到95.86%,相比于不使用该方法的结果提高了17.60个百分点。

注意力引导的多尺度红外行人车辆实时检测

红外成像技术通过捕捉目标热辐射特征进行成像,能实现复杂道路场景下的目标监测和道路冗杂信息滤除。针对红外行人和车辆目标检测模型参数量大、依赖高性能GPU资源和检测速度慢等问题,提出了一种注意力引导的多尺度红外行人车辆实时检测模型。首先,为精确匹配校准红外行人和车辆目标尺度与锚框尺寸,利用K-Means++算法对红外行人和车辆目标尺度进行先验框预置参数重聚类生成,并设计128×128精细尺度检测层;其次,设计注意力引导广域特征提取模块增强模型特征提取能力和空间及通道信息聚焦能力;随后,构建跨空间感知模块引入空间信息感知,强化不同尺度空间下的目标的特征表达能力;最后,针对资源受限设备,通过4倍通道剪枝方法降低模型参数量,增强移动端算法部署适应性。实验结果表明:所提IRDet算法与基准方法相比,模型平均检测精度提升4.3%,达到87.4%,模型权重值压缩60.4%,降至5.7 MB。

基于自适应纹理特征融合的纹理图像分类方法

现有基于深度学习的图像分类方法普遍缺少纹理特征的针对性,分类精度较低,难以同时适用于简单纹理和复杂纹理分类。提出一种基于自适应纹理特征融合的深度学习模型,能够结合类间差异性纹理特征做出分类决策。首先,根据纹理特征的最大类间差异性,构建图像的纹理特征图像;然后,采用原始图像与特征鲜明的纹理特征图像并行训练改进的双线性模型,获取双通道特征;最后,基于决策融合构建自适应分类模块,连接原图与纹理集的平均池化特征图进行通道权重提取,根据通道权重融合2个并行神经网络模型的分类向量,得到最优融合分类结果。在KTH-TIPS,KTH-TIPS-2b, UIUC和DTD 4个公共纹理数据集上对模型的分类性能进行评估,分别得到了99.98%、99.95%、99.99%和67.09%的准确率,表明所提模型具有普遍高效的识别性能。

钢筋混凝土结构移动式精准检测技术开发

无损检测技术是一种在不损害材料及结构服役性能的前提下,对其性质进行评估和测量的检测技术。然而,随着无损检测技术的发展和实践,结构内部的复杂损伤检测缺乏多层次精准性成为该领域的难点和核心问题。该文旨在结合国内外的研究成果,对无损检测技术的发展、分类和挑战进行梳理和分析,并在此基础上,介绍作者研究团队建立的一套由宏观到细观,再到内部的全面精准检测系统研究成果。针对表面宏观识别与细观定量识别,作者团队开发了表观病害视觉检测技术,包括构建的空间基准点自动追踪融合和亚像素级病害分割的全景图像快速拼接及表观病害厘米级定位方法,以及提出的全景图像中0.05 mm~0.2 mm多尺寸微细裂缝同步识别及真伪判别的人工智能算法。针对结构内部损伤识别,作者团队首创了智能变频敲击声波扫描及各类损伤精准识别新原理,发明建立了自适应激励分布移动敲击声波的损伤检测评估理论方法、声波及声纹图像特征人工智能算法及智能装备关键技术。经过实验验证,裂缝检测中宽度为0.05 mm时最大深度可达40 mm,剥离检测中最大深度可达400 mm,最小识别范围为50 mm。

基于改进YOLOv5s的面向自动驾驶场景的道路目标检测算法

在复杂道路场景中检测车辆、行人、自行车等目标时,存在因多尺度目标及部分遮挡易造成漏检及误检等情况,提出一种基于改进YOLOv5s的面向自动驾驶场景的道路目标检测算法。首先,利用深度可分离卷积替换部分普通卷积,减少模型的参数量以提升检测速度。其次,在特征融合网络中引入基于感受野模块(receptive field block,RFB)改进的RFB-s,通过模仿人类视觉感知,增强特征图的有效感受野区域,提高网络特征表达能力及对目标特征的可辨识性。最后,使用自适应空间特征融合(adaptively spatial feature fusion,ASFF)方式以提升PANet对多尺度特征融合的效果。实验结果表明,在PASCAL VOC数据集上,所提算法检测平均精度均值相较于YOLOv5s提高1.71个百分点,达到84.01%,在满足自动驾驶汽车实时性要求的前提下,在一定程度上减少目标检测时的误检及漏检情况,有效提升模型在复杂驾驶场景下的检测性能。

引入轻量级Transformer的无人机视觉跟踪

随着无人机在军事和民用领域的广泛运用,对于高精度、低功耗智能无人机跟踪系统的需求日益增加。针对目标跟踪算法在无人机跟踪场景下很难平衡跟踪精度和跟踪速度的问题,提出一种引入轻量级Transformer的孪生网络无人机目标跟踪算法SiamLT。使用Transformer对AlexNet网络进行改进,在增加最小计算量的情况下捕获全局特征信息。在目标模板与搜索区域匹配方面,联合Transformer和深度互相关运算提出一种二元相关模块,同时捕获目标模板与搜索区域之间的局部相关性和全局依赖关系。在分类回归网络中引入距离交并比,并采用多监督策略训练网络,以获取更准确的目标位置。在UAV123和UAV20L跟踪基准上的实验结果表明,SiamLT算法优于主流的目标跟踪算法,更有效地平衡了跟踪精度和跟踪速度。

改进YOLOv5的无人机航拍图像目标检测算法

针对无人机航拍图像目标检测中目标尺度多样、相似目标众多、目标聚集导致的目标漏检、误检问题,提出了改进YOLOv5的无人机航拍图像目标检测算法DA-YOLO。提出由特征图注意力生成器和动态权重学习模块组成的多尺度动态特征加权融合网络,特征图注意力生成器融合处理不同尺度目标更重要的特征,权重学习模块自适应地调节对不同尺度目标特征的学习,该网络可增强在目标尺度多样下的辨识度从而降低目标漏检。设计一种并行选择性注意力机制(PSAM)添加到特征提取网络中,该模块通过动态融合空间信息和通道信息,加强特征的表达获得更优质的特征图,提高网络对相似目标的区分能力以减少误检。使用Soft-NMS代替YOLOv5中采用的非极大值抑制(NMS)以改善目标聚集场景下的漏检、误检。实验结果表明,改进算法在VisDrone数据集上检测精度达到37.79%,相比于YOLOv5s算法精度提高了5.59个百分点,改进后的算法可以更好地应用于无人机航拍图像目标检测中。