基于面部多特征跨层融合网络的驾驶员疲劳检测方法

针对现有驾驶员疲劳检测很大程度依赖于局部疲劳相关信息提取而导致检测准确度不足的问题,本文提出了一种基于面部多特征融合的驾驶员疲劳检测算法,能够对整体面部疲劳状态进行特征学习,从而实现更精确的驾驶员疲劳状态检测。提出的驾驶员人脸疲劳检测算法包含3个步骤:首先使用MTCNN网络检测面部关键点并截取脸部、眼部、嘴部图像区域;其次设计一种面部多特征跨层融合网络,实现不同面部区域之间的信息交互与疲劳相关特征提取,进而通过多标签分类对单帧图像面部疲劳相关属性进行识别;最后使用LSTM对长时间序列进行建模,实现最终的驾驶员疲劳状态检测。本文提出的驾驶员疲劳检测算法在NTHU-DDD数据集进行了测试,对比实验验证了该方法的可行性和有效性。

多尺度特征跨层融合遥感目标检测方法

最近引起广泛关注的基于遥感图像的目标检测是一项基本但具有挑战性的任务。文章提出了一种基于YOLOv5改进的多尺度特征跨层融合遥感目标检测器。首先,引入Explicit Visual Center(EVC)模块解决目标密集分布任务中的漏检问题。其次,在YOLOv5的基础上提出了多尺度特征跨层融合结构(S-160),该结构提高了对各个尺度目标的检测精度,并针对小目标检测引出了新的大尺度特征,以解决遥感图像中超小目标无法识别的问题。最后,在公共遥感数据集DOTA上进行了实验,此数据集上的平均精度(mAP)达到了76.50%。

基于位置感知和跨层特征融合的航拍小目标检测算法

针对航拍图像目标尺度小、背景复杂、漏检和误检严重,提出了一种基于位置感知和跨层特征融合的航拍小目标检测算法DC-YOLOv8s。DC-YOLOv8s新增小目标检测层,增强对小目标尺度的敏感性,提高检测精度。为了减少特征信息的丢失,设计了跨层特征融合模块,充分融合小目标浅层语义信息和深层语义信息,丰富特征表示。改进C 2f结构,结合可变性卷积设计了基于位置感知融入残差的感受野注意力模块,适应航拍小目标形状的变化,快速提取感受野特征,降低漏检和误检率。最后使用基于注意力机制的动态检测头在尺度感知、空间感知、任务感知方面提高复杂场景下小目标的定位性能。实验表明,在VisDrone2019数据集上,DC-YOLOv8s在P、R、mAP上相较于YOLOv8s分别提高了7.2%、7.5%、9.1%,显著提高了小目标检测的性能,FPS为71帧,满足实时性要求。在VOC2007+2012上进行模型泛化性实验验证,效果优于其他经典算法。

结合跨层特征融合网络和非局部的识别方法

在以往的方法中,针对于图像识别,主要目标是提取出足够多的具有区分度的局部关键特征。由于细粒度图像分类是对同属于一个大类下面的具体小类别的细分,所以不同的细类之间差别很小,要想提高准确率,更需要找到具有辨别力度的局部区域。论文使用了目标-导航网络,来筛选出前k个最具有判别力的局部区域块,然后针对于筛选出来的k个不同的区域块,利用非局部模块的思想,捕捉不同局部区域之间的联系,更加充分地利用了图像信息,以此来提高精度。与此同时,在残差网络中,使用了卷积注意模块捕捉不同通道注意力特征之间的联系,且在最后的全连接层处改进了网络架构,使用跨层特征融合的方法来代替了简单的级联。考虑到在细粒度识别中,图像的标注需要耗费非常多的人力物力,所以论文中提出的方法,是自监督的。

基于上下文感知跨层特征融合的光场图像显著性检测

光场图像的显著性检测是视觉跟踪、目标检测、图像压缩等应用中的关键技术。然而,现有深度学习方法在处理特征时,忽略特征差异和全局上下文信息,导致显著图模糊,甚至在前景与背景颜色、纹理相似或者背景杂乱的场景中,存在检测对象不完整以及背景难抑制的问题,因此该文提出一种基于上下文感知跨层特征融合的光场图像显著性检测网络。首先,构建跨层特征融合模块自适应地从输入特征中选择互补分量,减少特征差异,避免特征不准确整合,以更有效地融合相邻层特征和信息性系数;同时利用跨层特征融合模块构建了并行级联反馈解码器(PCFD),采用多级反馈机制重复迭代细化特征,避免特征丢失及高层上下文特征被稀释;最后构建全局上下文模块(GCM)产生多尺度特征以利用丰富的全局上下文信息,以此获取不同显著区域之间的关联并减轻高级特征的稀释。在最新光场数据集上的实验结果表明,该文方法在定量和定性上均优于所比较的方法,并且能够精确地从前/背景相似的场景中检测出完整的显著对象、获得清晰的显著图。

基于跨层精简双线性网络的细粒度鸟类识别

细微的类间差异和显著的类内变化使得细粒度图像分类极具挑战性。为了对鸟类图像进行细粒度识别,提出一种基于跨层精简双线性池化的深度卷积神经网络模型。首先,根据Tensor Sketch算法计算出多组来自不同卷积层的精简双线性特征向量;其次,将归一化后的特征向量级联送至softmax分类器;最后,引入成对混淆对交叉熵损失函数进行正则化以优化网络。提出的模型无需额外的部件标注,可进行端到端的训练。结果表明,在公开的CUB-200—2011鸟类数据集上,该模型取得了较好的性能,识别正确率为86.6%,较BCNN提高2.5%。与多个先进细粒度分类算法的对比,验证了提出模型的有效性和优越性。

结合跨层特征融合与级联检测器的防震锤缺陷检测

目的防震锤可以减少输电线路的周期性震动以降低线路的疲劳损害,定期对防震锤进行巡检非常必要。针对目前无人机巡检输电线路所得航拍图像背景复杂,而种类较多、形状各异以及特性不一的防震锤在航拍图像中占据像素面积很小,导致防震锤检测过程中出现的检测精度低、无法确定缺陷类型等问题,提出了一种结合跨层特征融合和级联检测器的防震锤缺陷检测方法。方法本文使用无人机对防震锤部件巡检的航拍图像进行数据扩充建立防震锤缺陷检测数据集,并划分了4种缺陷类型,为研究提供了数据基础。首先,以VGG16(Visual Geometry Group 16-layer network)为基础对1、3、5层特征进行特征融合得到特征图,平衡了语义信息和空间特征;其次,使用3个级联检测器对目标进行分类定位,减小了交并比(intersection over union,IoU)阈值对网络性能的影响;最后,将非极大值抑制法替换为Soft-NMS(soft non-maximum suppression)算法,去除边界框保留了最佳结果。结果在自建数据集上验证网络模型对4种防震锤缺陷类型的检测效果,与现有基于深度学习的其他6种先进算法相比,本文算法的平均准确率比Fast R-CNN(fast region-based convolutional network)、Faster R-CNN、YOLOv4(you only look once version 4)分别提高了13.5%、3.4%、5.8%,比SSD300(single shot MultiBox detector 300)、YOLOv3、RetinaNet分别提高了9.5%、8.5%、8%。与Faster R-CNN相比,本文方法的误检率降低了5.61%,漏检率降低了3.01%。结论本文提出的防震锤缺陷检测方法对不同背景、不同光照、不同角度、不同尺度、不同种类和不同缺陷种类的防震锤均有较好的检测结果,不但可以更好地提取防震锤的特征,而且还能提高分类和位置预测网络的定位精度,从而有效提高了防震锤缺陷检测算法的准确率,在满足防震锤巡检工作实际检测要求的同时还具有较好的鲁棒性和有效性。

结合注意力与跨层双线性网络的细粒度图像分类

针对细粒度图像分类任务中,对物体进行精准定位并提取更具表达力特征的难题,提出结合注意力机制与跨层特征融合的分类算法:一方面在网络中融入的混合注意力机制能够让系统忽略图像中的背景干扰信息,而将更多的关注重点放在有效信息上,以此来提高模型的判别性区域定位能力;另一方面通过跨层交互能够使得融合后得到的特征向量中包含了更多的局部特征信息,丰富了细粒度特征的学习.实验结果表明,该网络模型在公开数据集CUB200-2011上性能较好,准确率达到了88.2%,相比现有主流方法有明显提升,证明了本模型在细粒度图像分类任务上的有效性和优越性.

基于改进YOLOv5的眼睛及瞳孔检测算法

针对眼睛图像易受光照干扰导致的眼睛部位和瞳孔部位检测不准确及误检漏检的问题,提出基于改进YOLOv5的眼睛及瞳孔检测算法。首先,进行图像预处理,对比了三种图像增强方法,决定运用效果较好的CLAHE(限制对比度自适应直方图均衡化)方法进行图像增强,提高对比度;其次,在YOLOv5网络中引入Swin Transformer模块代替骨干网络的最后一个C3模块和三个预测头中的三个C3模块,提高网络的特征提取能力,提升眼睛部位的检测精度;最后,在YOLOv5网络中通过引入多尺度特征跨层融合机制的方法,增加两个目标预测头,降低网络对眼睛部位和瞳孔部位的漏检率。该文从ELSE标准数据集中的Data setXVIII中选取了受光照程度不同的眼睛数据集2 400张,其中,1 600张为训练集,800张为测试集。实验结果表明,改进后的YOLOv5网络能检测出眼睛整体部位及完整的瞳孔部位,检测置信度也较高,mAP提高了3.2百分点,Recall提高了2.7百分点,且具有较好的实时性。

基于改进YOLOv5s的车脸检测算法

针对车检站中车辆检测的实际需求,提出一种改进YOLOv5s的轻量级车脸检测算法。使用ShuffleNetV2网络作为Backbone,在保证模型检测精度的同时实现模型的轻量化与实时性;将通道-空间注意力(SA-Net)与跨通道注意力(Triplet)相结合,提出一种跨通道-空间注意力模块(SA-Triplet attention, STA),提高模型的检测精度;提出一种基于STA注意力模块的跨层特征融合模块(SA-Triplet attention feature fusion, STA-FF),进一步提高模型的检测精度。在自建车脸检测数据集Car-Data上进行实验,所提模型的平均检测精度达到了94.3%,检测速度达到了105.60 FPS,模型参数量为12.36 M。

跨层多模型特征融合与因果卷积解码的图像描述

目的图像描述结果的准确合理性体现在模型对信息处理的两个方面,即视觉模块对特征信息提取的丰富程度和语言模块对描述复杂场景句子的处理能力。然而现有图像描述模型仅使用一个编码器对图像进行特征提取,容易造成特征信息丢失,进而无法全面理解输入图像的语义。运用RNN(recurrent neural network)或LSTM(long short-term memory)在对句子建模时容易忽略句子的基本层次结构,且对长序列单词的学习效果不佳。针对上述问题,提出一种跨层多模型特征融合与因果卷积解码的图像描述模型。方法在视觉特征提取模块,对单个模型添加低层到高层的跨层特征融合结构,实现语义特征和细节特征之间的信息互补,训练出多个编码器对图像进行特征提取,在充分描述和表征图像语义方面起到补充作用。在语言模块中使用因果卷积对描述复杂场景的长序列单词进行建模处理,得到一组单词特征。使用attention机制将图像特征和单词特征进行连接匹配,用于学习文本信息与图像不同区域之间的相关性,最终通过预测模块结合Softmax函数得到单词的最终预测概率。结果在MS COCO(Microsoft common objects in context)和Flickr30k两个数据集上使用不同评估方法对模型进行验证,实验结果表明本文提出的模型性能较好。反映生成单词准确率的BLEU(bilingual evaluation understudy)-1指标值高达72.1%,且在其他多个评估指标上优于其他主流对比方法,如B-4指标超过性能优越的Hard-ATT("Hard"attention)方法6.0%,B-1和CIDEr(consensus-based image description evaluation)指标分别超过emb-g(embedding guidance)LSTM方法5.1%和13.3%,与同样使用CNN(convolutional neural network)+CNN策略的Conv Cap(convdntioral captioning)方法相比,在B-1指标上本文模型提升了0.3%。结论本文设计的模型能够有效提取和保存复杂背景图像中的语义信息,且具有处理长序列单词的能力,对图像内容的描述更准确、信息表达更丰富。

基于边缘检测的快速纸张检测方法

结合普通纸笔交互方式对纸张检测的实时性和鲁棒性的要求,提出了一种基于边缘检测的快速纸张检测方法。在边缘检测阶段,提出了跨层特征融合的快速纸张边缘检测方法。在HED主干网上添加线性瓶颈逆残差块和融入高效通道注意力的B-ECA块,大幅度减少了参数量,增加了显著特征的权重;分阶段融合各阶段各层特征,保留了更多的边缘特征;对高阶段特征上采样,并与低阶段特征进行跨层特征融合,解决了边缘模糊的问题。在自建的MPDS数据集上进行训练和测试,相较于HED方法,提出的纸张边缘检测方法在ODS和OIS指标上分别提高了8.1%和6.6%,检测速度由22.08 fps提高到了39.02 fps。在纸张提取阶段,提出了基于纸张结构约束的纸张提取方法。依次对纸张边缘进行基于非极大值抑制的边缘细化、直线检测与筛选、结构约束的纸张顶点提取,最终提取出只包含纸张的图像。实验结果表明,在各种复杂桌面环境及遮挡情况下,提出的纸张提取方法均可以快速、准确地提取完整的纸张图像,可以为普通纸笔交互方法提供交互基础。