一种结合多尺度特征图和环型关系推理的场景图生成模型

场景图为描述图像内容的结构图(Graph),其在生成过程中存在两个问题:1)二步式场景图生成方法造成有益信息流失,使得任务难度提高;2)视觉关系长尾分布使得模型发生过拟合、关系推理错误率上升。针对这两个问题,文中提出结合多尺度特征图和环型关系推理的场景图生成模型SGiF(Scene Graph in Features)。首先,计算多尺度特征图上的每一特征点存在视觉关系的可能性,并将存在可能性高的特征点特征提取出来;然后,从被提取出的特征中解码得到主宾组合,根据解码结果的类别差异,对结果进行去重,以此得到场景图结构;最后,根据场景图结构检测包含目标关系边在内的环路,将环路上的其他边作为计算调整因子的输入,以该因子调整原关系推理结果,并最终完成场景图的生成。实验设置SGGen和PredCls作为验证项,在大型场景图生成数据集VG(Visual Genome)子集上的实验结果表明,通过使用多尺度特征图,相比二步式基线,SGiF的视觉关系检测命中率提升了7.1%,且通过使用环型关系推理,相比非环型关系推理基线,SGiF的关系推理命中率提升了2.18%,从而证明了SGiF的有效性。

基于改进多尺度特征图的目标快速检测与识别算法

针对目标检测与识别在精度和实时性方面的要求,提出了一种基于改进多尺度特征图的目标快速检测与识别算法。算法在原始SSD模型的基础上,利用卷积神经网络自动提取多尺度特征图,构建了一种有效的卷积特征图融合模块,同时引入轻量级的压缩型双线性融合方法,丰富上下文信息。进一步结合通道注意机制,自适应地学习特征图各通道之间的相互关系,强调有用信息,抑制冗余信息,提高了特征图的判别能力,将增强后的多尺度特征图用于检测模型。实验结果表明,与同类算法相比,所提算法的效率更高,明显提升了识别精度,同时速度达到63frame·s^(-1),较好地平衡了识别精度与速度之间的关系。

多尺度特征图融合的目标检测

目的自然场景图像中,特征提取的质量好坏是决定目标检测性能高低的关键因素。大多数检测算法都是利用卷积神经网络(CNN)强大的学习能力来获得目标的先验知识,并根据这些知识进行目标检测。卷积神经网络的低层次特征缺乏特征的代表性,而高层次的特征则对小尺度目标的监测能力弱。方法利用原始SSD(single shot multi Box detector)网络提取特征图,通过1×1卷积层将提取的特征图统一为256维;通过反卷积操作增加自顶向下特征图的空间分辨率;通过对应元素相加的操作,将两个方向的特征图进行融合。将融合后的特征图采用3×3的卷积核进行卷积操作,减小特征图融合后的混叠效应。根据以上步骤构建具有较强语义信息的特征图,同时保留原有特征图的细节信息;对预测框进行聚合,利用非极大抑制(NMS)实现最终的检测效果。结果在PASCAL VOC 2007和PASCAL VOC 2012数据集上进行实验测试,该模型的m AP (mean average precision)为78. 9%和76. 7%,相对于经典的SSD算法,分别提高了1. 4%和0. 9%;此外,本文方法在检测小尺度目标时相较于经典SSD模型m AP提升了8. 3%。结论提出了一种多尺度特征图融合的目标检测算法,以自顶向下的方式扩展了语义信息,构造了高强度语义特征图用于实现精确目标检测。

基于特征图集合的遥感影像深度学习地物分类研究

针对高分辨率遥感影像复杂地物分类的问题,提出了人工特征工程与深度神经网络相结合的地物分类方法。通过纹理与结构等人工设计特征提取构建多尺度特征图,采用特征图和原始图像合并构建的高维图集合作为网络输入,最大程度地丰富了输入信息量,同时增强了纹理、尺度等有利特征在网络训练过程中的主导作用。根据全卷积网络端到端的像素级分类思想,借鉴并改进DeepLab v3网络的结构设计,实现了一站式的遥感地物分类。实验结果表明,相对于采用原始图像直接作为网络输入,多尺度特征图与原始图结合的方法可以有效地凸显地物中纹理与结构的描述能力,较好地提升地物分类准确度;同时相对于传统神经网络进行图片分类的方法,设计的基于多尺度特征图集合的方法在遥感地物分类任务中具有更好的抗干扰性与准确性。

X光安检图像多尺度违禁品检测

安检是保障人民生命财产安全的第一道防线,智能安检是安检行业未来发展的必然趋势。X光安检图像存在背景复杂、违禁品尺度多样以及相互遮挡现象,导致传统的目标检测算法无法获得满意的效果。本文在一阶段目标检测网络SSD框架的基础上,提出了适用于X光安检图像多尺度违禁品检测网络——非对称卷积多视野神经网络ACMNet(Asymmetrical Convolution Multi-View Neural Network)。检测网络增加了三个模块:小卷积非对称模块(Asymmetrical Tiny Convolution Module,ATM)、空洞多视野卷积模块(Dilated Convolution Multi-View Module,DCM)、多尺度特征图融合策略(Fusion strategy of multi-scale feature map,MF)。ATM学习到的细节特征有助于小尺度违禁品的识别;DCM通过提供局部与全局之间的上下文特征信息来解决遮挡问题;MF则是通过融合高、低层特征图以提高模型在背景干扰情况下违禁品的检测精度。在仿真实验中,采用X光安检领域公开的数据集与自建的数据集,ACMNet在精确度上取得了令人满意的效果。

基于U-Net的多尺度低照度图像增强网络

低照度是夜晚拍摄时常见的一种现象,不充分的光照会使图像细节损失严重,降低图像视觉质量。针对现有低照度图像增强方法对不同尺度特征的感知和表达能力存在不足的问题,提出一种基于U-Net的多尺度低照度图像增强网络(MSU-LIIEN)。采用特征金字塔作为基本处理框架,实现对低照度图像的特征提取。在特征金字塔构建的3个分支结构中均使用U-Net作为骨干网,对提取到的浅层图像特征进行编码与解码操作,同时引入结构细节残差融合块以增强网络模型提取和表征低照度图像特征信息的能力。在此基础上,对提取到的特征信息逐层融合,恢复正常光照图像。实验结果表明,MSU-LIIEN在LOL-datasets和Brighting Train数据集中相比于性能排名第二的KinD模型,平均峰值信噪比分别提高16.21%和46.67%,且在主观视野感受和客观评价指标方面均优于所有对比的经典模型,不但能有效提升低照度图像的整体亮度,而且能很好地保持图像中的细节信息和清晰的物体边缘轮廓,使增强后的图像整体画面真实自然。

基于多分支并行空洞卷积的多尺度目标检测算法

针对现有的目标检测算法在提取特征时往往仅使用单一尺度大小的卷积核,忽略了不同尺度特征感受野的差异,从而影响网络对不同尺度目标的检测效果的问题,提出一种基于多分支并行空洞卷积的多尺度目标检测算法.首先,采用基础网络VGG-16对待检测图像进行特征提取;其次,在网络的低层引入多分支并行空洞卷积,对不同扩张率的空洞卷积进行融合,从而获取多尺度特征信息,提高网络对不同尺度特征的提取能力;然后,采用非局部化结构整合特征的全局空间信息,进而增强上下文信息;最后,在不同尺度大小的特征图上执行目标的检测与定位任务.在PASCAL VOC数据集和MS COCO数据集上的实验结果表明,所提算法能有效地提高网络对不同尺度目标的检测准确率,对小目标检测效果有明显改善.

铁路接触网主要部件检测方法

为解决人工查看4C装置拍摄的接触网图片速度慢、效率低的问题,提出一种基于改进YOLOv4-tiny的铁路接触网主要部件的检测方法。针对接触网图片分辨率大、部件小的情况,采用预处理方法裁减掉冗余黑色背景,提高部件的相对大小;增加一个对于小目标友好的下采样8倍的输出特征图;为避免一些小部件在主干网络提取特征时的语义信息丢失和占比减少问题,将原网络残差结构中的3*3卷积改进为并列的1*1、3*3和5*5卷积。实验结果表明,改进后的算法在准确率上相比YOLOv4-tiny提高了32.11%,达到96.56%。

基于改进YOLOv3的火灾识别关键技术研究

物流行业的大型仓库等具有空间大、环境复杂等特点,火灾发生具有不确定性且影响因素较多,导致传统的火灾检测方法难以实现对火灾的实时检测和报警。鉴于此,本文引入AI技术,采用边缘计算从而确保检测的实时性。系统利用烟雾、温度传感器以及摄像头采集视频图像信号,通过YOLOv3模型实现火灾的检测和识别,并且是对该模型进行优化、改进和训练后将其直接部署在NVIDIA GPU上而实现的火灾检测。将火灾识别的结果传至网关,利用网关将数据上传至上位机和移动端。上位机完成火灾报警、火灾定位及最优路径规划;用户和管理员通过移动端或者上位机查询系统状态。最后搭建了训练模型的软硬件平台,完成网络训练并对火焰进行检测。结果表明,该火焰检测模型识别精度高、实时性好,对火灾检测和报警具有较大的实际意义。

基于深度帧差卷积神经网络的运动目标检测方法研究

复杂场景中的运动目标检测是计算机视觉领域的重要问题,其检测准确度仍然是一大挑战.本文提出并设计了一种用于复杂场景中运动目标检测的深度帧差卷积神经网络(Deep Difference Convolutional Neural Network,DFDCNN).DFDCNN由DifferenceNet和AppearanceNet组成,不需要后处理就可以预测分割前景像素.DifferenceNet具有孪生Encoder-Decoder结构,用于学习两个连续帧之间的变化,从输入(t帧和t+1帧)中获取时序信息;AppearanceNet用于从输入(t帧)中提取空间信息,并与时序信息融合;同时,通过多尺度特征图融合和逐步上采样来保留多尺度空间信息,以提高网络对小目标的敏感性.在公开标准数据集CDnet2014和I2R上的实验结果表明:DFDCNN不仅在动态背景、光照变化和阴影存在的复杂场景中具有更好的检测性能,而且在小目标存在的场景中也具有较好的检测效果.

基于改进深度学习模型的焊缝缺陷检测算法

针对传统深度学习模型在进行焊缝缺陷检测时对小缺陷目标检测效果不理想问题,提出基于改进深度学习Faster RCNN模型的焊缝缺陷检测算法,算法通过多层特征网络提取多尺度特征图并共同作用于模型后续环节,以充分利用模型中的低层特征,增加细节信息;改进模型的区域生成网络,加入多种滑动窗口,从而优化了模型锚点的长宽比设置,提高检测能力。实验表明,改进Faster RCNN模型取得最优的缺陷检测结果,对于小缺陷目标仍取得较好的检测精度,从而验证了算法的有效性。

轻量级YOLOv3的交通标志检测算法

交通标志检测在自动驾驶领域一直是个比较热门的课题。在深度学习算法中,YOLOv3和Faster R-CNN已经获得了极好的目标检测性能,但在检测小目标时,存在漏检的情况。针对交通标志检测中小目标准确快速识别的需求,本文提出一种轻量级YOLOv3的交通标志检测算法。通过卷积神经网络同时使用浅层和深层的特征提取,得到多尺度特征图,深层特征可以有效地保持检测精度不下降,浅层特征可以有效地提高小目标检测任务的精度。通过剪枝算法对模型进行压缩,将训练好的模型进行稀疏训练,把一些不重要的卷积核通道删除掉,对剪枝后的模型微调,保持模型文件中参数的平衡,同时保持检测精度。实验结果表明,通过提取多尺度特征图的方法模型准确率提高了2.3%,通过剪枝算法对模型压缩,使模型的权重大小减小了70%,模型的检测时间节省了90%。由此建立了鲁棒性更强的轻量级交通标志检测模型,可以部署在移动端嵌入式设备上,不再占用庞大的GPU计算资源即可提高检测效率。

基于SSD算法的口罩检测

佩戴口罩是预防呼吸道疫病传播的有效办法之一,快速检测人员是否佩戴口罩成为当前目标检测中热点问题。本文基于SSD网络实现了口罩的实时检测,通过在多尺度特征图上进行预测,并且采用不同尺度长宽比的默认框,在分类器末端进行非极大值抑制处理,提高了口罩的检测精度,实现了端到端的检测任务。实验结果表明,SSD算法的检测精度高,能够正确区分是否佩戴口罩,对于小目标检测有很好的效果,mAP可以达到91.5%,满足实际的使用需求。