引入残差学习与多尺度特征增强的目标检测器

目前深度学习在计算机视觉领域中取得了巨大成功,但是小目标检测仍是目标检测领域中具有挑战性的难题。针对小物体分辨率低、图像模糊、携带信息少等问题,提出了引入残差学习与多尺度特征增强的目标检测器。首先在主干网络中引入基于残差学习的增强特征映射块,通过通道平均和归一化处理使得模型更加专注于对象区域而不是背景,并在兼顾检测速度的同时为有效特征层提供额外的语义信息;然后特征映射对上下文信息敏感的特征融合块进一步增大有效特征图的感受野,并将用于预测的浅特征层与深特征层进行融合,提高低分辨率下的检测性能;最后通过双重注意力块抑制背景噪音,将关键特征嵌入到注意力中,在保留空间信息的同时加强通道间的信息关联,进而增强特征的表达能力。为了更好地检测小目标,还对浅层特征映射先验框数量进行了调整。实验结果表明,在PASCAL VOC2007的数据集上,该算法对于300×300输入尺度的检测精度(mAP)为79.9%,较SSD提高了2.7个百分点,对小目标bird、bottle、chair、plant检测精度分别提升了5.1个百分点、7.5个百分点、3.9个百分点、7.2个百分点。在OAP自制航拍数据集上的检测精度(mAP)为82.7%。

基于渐进式注意力金字塔的行人重识别方法

针对现有行人重识别算法对行人特征提取不充分,导致算法在行人遮挡、姿态变化等场景下准确度较低的问题,提出了基于渐进式注意力金字塔的行人重识别方法。该方法基于注意力机制设计了一种渐进式的特征金字塔结构,将通道和空间两种注意力模块嵌入特征金字塔结构中,并分别应用在特征的通道和空间两个维度上,通道注意力金字塔聚合骨干网络各层级不同通道维度中值得关注的特征,空间注意力金字塔提取不同空间维度中值得关注的特征。金字塔的每一级都按照“切分-关注-合并”的原则,自底向上不断学习行人特征图在不同切分等级下的注意力,让网络充分挖掘到来自不同通道维度和不同空间维度的关键特征。同时,通过级联结构和可变形卷积实现多层级特征对齐,进一步提高模型的重识别精度。分别在Market-1501和DukeMTMC-reID两个主流数据集上对该方法进行实验,实验结果表明该方法可以让模型关注到更丰富的行人特征,模型的Rank-1指标相比基准网络分别提高了3.2%和5.8%,mAP指标分别提高了6.8%和6.6%。

特征增强的孪生网络高速跟踪算法

近年来,实时的目标跟踪技术在许多复杂视觉系统中都发挥了重要的作用,跟踪算法作为其中的一个关键环节,不仅需要具备高精度还需要满足实时性。SiamFC算法在提出时由于可以较好地平衡精度与速度,受到了广泛的关注。但是SiamFC算法使用较浅的骨干网络,提取到的特征难以应对复杂多变的跟踪环境,容易导致跟踪漂移。为了同时提高算法的跟踪精度与速度,提出了一种特征增强的轻量级孪生网络高速跟踪算法。首先,使用改进后的轻量级网络ShuffleNetV2作为骨干网络提取特征,在减少模型参数量与计算量的同时大幅提升跟踪速度;其次,在孪生网络的模板分支末端嵌入通道与空间双重注意力来调整不同通道和空间位置的响应权重,突出对跟踪有益的特征;最后,采用分层特征融合策略,同时利用网络提取的深层语义特征与浅层结构特征,从多角度表征目标。在OTB100和VOT2018两个数据集上与当前一些优秀的跟踪算法进行对比实验,结果表明,所提算法在跟踪精度上有较大的优势,在困难场景下展现了较强的鲁棒性,同时算法在NVIDIA GTX1070下的速度可达110 FPS,相比SiamFC算法能够更好地兼顾跟踪精度与速度。

改进Basic Theta^(*)中LOS算法的任意角度路径规划

针对传统A^(*)算法在进行机器人路径规划时,生成的路径只能沿网格方向进行,带来冗余路径的产生,导致规划的路径非最优路径等问题,提出了一种对A^(*)算法的改进策略。首先,设计Basic Theta^(*)算法,改进A*算法的搜索方式,通过引入视线算法(LOS),增加搜索过程中非网格方向路径的选择,实现任意角度的路径规划;其次,对Basic Theta^(*)算法中的LOS进行改进,提出一种基于网格中心点的视线检测算法,提高Basic Theta_(*)算法规划路径的可实现性。为了验证改进A^(*)算法和改进Basic Theta^(*)算法的效果,在五种不同尺寸的栅格地图中进行仿真测试,仿真结果表明,改进后的A^(*)算法能够在运行时间基本不变的情况下实现路径沿任意角度进行,打破网格的限制,剔除冗余路径,降低路径长度,路径长度的缩减率可达到8%;改进的Basic Theta^(*)算法在保证路径长度基本不变的情况下,能够有效优化传统Basic Theta^(*)算法路径中存在的不符合机器人运动学的路径,同时缩短Basic Theta^(*)算法的运行时间,提高算法的运行效率,规划的路径能够满足机器人运动的实际要求。

融合JPS和改进A^(*)算法的移动机器人路径规划

针对传统A^(*)算法在场景较大的栅格地图路径规划时,很多冗余节点的遍历导致寻路算法内存消耗大、计算速度慢等问题,提出了一种对A^(*)算法的改进策略。首先,改进启发函数的具体计算方式,利用切比雪夫距离替代欧氏距离使启发式函数精确地等于实际最佳路径,减少A^(*)节点的拓展数量;其次,使用跳点搜索(JPS)策略筛选出跳点添加到OpenList和ClosedList代替A^(*)算法中大量不必要的邻节点,通过跳点实现较长距离的跳跃,从而减少内存占用以及对节点的评估,直到生成最终路径。为了验证A^(*)算法改进后的效果,在五种尺寸的二维栅格地图中进行仿真测试,结果表明,改进后的A^(*)算法减少了大量寻路过程评估的节点,提高了寻路速度,并且随着地图尺寸的增加,改进后的A^(*)算法能将寻路速度提高一个数量级以上。最后,将改进后的算法应用在移动机器人路径规划器上进行实验,在同一规划任务下,JPS策略下改进的A^(*)算法较传统A^(*)算法,路径搜索耗费时间减少了92.2%,拓展的节点减少了97.37%,能够满足大场景下移动机器人快速路径规划的要求。

融合注意力机制的深层次小目标检测算法

骨干网络特征提取不充分以及浅层卷积层缺乏语义信息等往往导致了对于小目标检测的效果不佳,为提高小目标检测的精确性与鲁棒性,提出一种融合注意力机制的深层次小目标检测算法。首先,针对骨干网络特征提取能力不足的问题,选用Darknet-53作为特征提取网络,通过构建新的分组残差连接来替换原Darknet-53中的残差连接结构,形成新的I-Darknet53骨干增强网络,该分组残差结构可通过交织不同通道的特征信息有效提高输出的感受野大小。其次,在多尺度检测阶段,提出浅层特征增强网络,采用特征增强模块与通道注意力机制引导下的高效特征融合策略对浅层与深层进行特征融合获得浅层增强特征,从而改善浅层语义特征信息不足的问题。实验结果表明,相较于SSD算法,所提算法在PASCALVOC数据集上检测效果更加突出。当输入图像尺寸为300×300时,模型平均精度均值为80.2%;当输入图像尺寸为500×500时,模型平均精度均值为82.3%。并且在保证检测速度的前提下,增强了模型对小目标的检测效果。

融合改进A^(*)蚁群和滚动窗口法的平滑路径规划

针对蚁群算法应用于移动机器人路径规划时,出现的死锁、收敛慢、易陷入局部最优以及路径不平滑的问题,提出了一种融合改进A^(*)蚁群算法与滚动窗口法的平滑路径规划方法。首先,用改进的A^(*)算法初始化蚁群信息素,解决前期蚁群效率低的问题。然后,改进状态转移概率函数,在函数中考虑可行路径“活跃度”以及终点位置,避免死锁现象。同时,基于不平等原则机制更新蚁群的信息素,避免陷入局部最优路径,加快算法的收敛速度。其次,融合滚动窗口法,在全局路径规划的基础上,结合动态避障策略进行局部实时路径规划。最后,使用贝塞尔曲线对所规划出的路径进行平滑度处理,使平滑后的路径更加接近实际运动路径。为确保算法表现出最好的性能,利用带精英策略的遗传算法对该算法中的参数进行自主优化选择。三组实验结果表明,无论是简单还是复杂的静态或动态障碍物存在的环境中,该算法均有不错的效果。

多尺度通道注意力融合网络的小目标检测算法

当前小目标检测算法的实现方式主要是设计各种特征融合模块,检测效果和模型复杂度很难达到平衡。此外,与常规目标相比,小目标信息量少,特征难以提取。为了克服这两个问题,采用了一种不降维局部跨通道交互策略的通道注意力模块,实现通道间的信息关联,通过对每个通道的特征进行权重分配来学习不同通道间特征的相关性。同时,加入改进的特征融合模块,使网络可以使用低层和高层的特征进行多尺度目标检测,提升了以低层特征为主要检测依据的小目标检测精度。骨干网络采用特征表达能力强和速度快的ResNet,在获取更多网络特征的同时保证了网络的收敛性。损失函数采用FocalLoss,减少易分类样本的权重,使得模型在训练时更关注于难分类样本的分类。该算法框架在VOC数据集上的mAP为82.7%,在航拍数据集上的mAP为86.8%。

高帧率的轻量级孪生网络目标跟踪

随着目标跟踪在众多生活场景的广泛运用,高精度且高速的跟踪算法需求也日益增多。针对某些特定场景如移动端、嵌入式等设备,在设备算力相对不足的前提下,仍要保证跟踪器达到良好的跟踪精度和高速实时跟踪问题,提出一种高帧率的轻量级孪生网络目标跟踪算法。首先,选取易于部署在嵌入式设备中的轻量级卷积神经网络MobileNetV1作为特征提取网络,深层网络具有对目标特征强大的提取能力;接着,针对主干网络的不足提出两点优化策略,特征图裁剪和网络总步长调整,使得主干网络适用于跟踪任务;最后,在孪生网络的模板分支后添加超轻量级通道注意力模块,加权突出目标特征的重要信息。对比当前主流算法SiamFC,该算法参数量减少59.8%;在OTB2015数据集上仿真实验表明,跟踪精度提升了5.4%,算法能更好地应对跟踪任务中复杂多变的挑战;在VOT2018数据集上的仿真实验表明,综合指标平均重叠期望(EAO)提升了26.6%,同时算法在NVIDIA GTX1080Ti下的平均速度为120 frame/s,达到高帧率实时跟踪。

跌倒异常行为的双重残差网络识别方法

在异常行为监控中,由于监控视角、人体姿态和场景等复杂的情况,直接通过增加3D卷积神经网络层数来提取有效的视觉特征,容易导致卷积模型发生梯度消失和过拟合,从而降低了行为识别率。针对上述问题,提出了一种基于双重残差卷积网络的跌倒识别方法,通过在残差网络中嵌套残差网络,充分融合了浅层和深层视觉特征,缓解了模型训练时梯度消失问题带来的影响,从而使模型性能得到了提升。最后采用5折交叉验证方法在多相机跌倒数据集(MCFD)和热舒夫大学跌倒数据集(URFD)上进行了测试评估,结果表明双重残差网络性能优于三维卷积网络(C3D)、三维残差网络(3D-Resnet)、伪三维残差网络(P3D)和2+1维残差网络(R(2+1)D)识别方法,从而验证了双重残差网络模型对提高异常行为识别效果的有效性。

改进AFSA算法优化TWSVM的火焰识别方法

为了快速有效地识别火灾火焰图像,提出了一种基于改进人工鱼群算法(IAFSA)的孪生支持向量机(TWSVM)的火焰识别方法。该方法根据RGB-YCbCr混合颜色空间模型中火焰像素的分布特点对火焰图像进行分割,并在此基础上提取火焰图像的相关特征;采用人工鱼群算法(AFSA)搜索TWSVM最优惩罚参数与核参数,并在AFSA算法中利用基于聚类的鱼群初始化方法来获得均匀的初始鱼群,同时采取自适应参数来调整人工鱼群的视觉范围和移动步长,另外在原有的三种行为的基础上提出了两种新的行为:跳跃行为和淘汰重生行为,提高了鱼群算法的寻优效率和求解精度;将提取的火焰各个特征量作为训练样本输入TWSVM模型进行训练;将待测试样本输入TWSVM模型进行分类识别。实验结果表明:相对于深度卷积神经网络VGGNet模型、Fast R-CNN算法、YOLO算法、传统支持向量机(SVM)、Grid-TWSVM、GA-TWSVM、PSO-TWSVM、FOA-TWSVM、GSO-TWSVM、AFSA-TWSVM,所提出的基于改进人工鱼群算法的孪生支持向量机的方法有效地提高了火焰识别准确率和实时性,解决了TWSVM在火焰识别时参数选择困难、常用参数寻优算法寻优时间长等问题。

多层级重叠条纹特征融合的行人重识别

针对行人重识别(Person-ReID)过程中,基于局部特征的方法在提取行人特征时因信息缺失导致鲁棒性和判别力不足的问题,提出一种多层级重叠条纹特征融合的行人重识别算法。训练阶段,对骨架网络不同阶段的输出特征图进行水平均等分割,再提取重叠条纹特征以弥补丢失的信息;使用三种损失函数对不同的特征向量进行监督训练,以约束类内距离。此外,设计组归一化模块来消除不同损失函数在优化方向上存在的差异,从而提取到更恰当的共享特征。推理阶段,将多个特征向量融合成一个新的特征向量,再进行相似性判断。将该方法在Market-1501、DukeMTMC-reID数据集上进行有效性实验验证并对结果进行分析。所提算法能够提高行人重识别的准确率,模型所提取的特征具有较强的鲁棒性和判别力。

感受野下的小目标检测算法

早前提出的one-stage类算法SSD,在主干网络特征提取方面,经过3×3的卷积之后会造成计算通道数增多。同时,在SSD中这些被提取出的特征直接生成特征图并分别丢入预测模型中,导致层与层之间没有很好的信息交融。在现实的检测过程中,因为神经网络的主导为大型目标,常常会忽略相对于大型物体更容易被漏检的小型物体,导致小型被检测物的检测成功率较低。因此基于SSD进行研究,融入了一种基于特征融合的感受野模型Receptive Field Block。在特征提取的主干网络上,基于感受视野特征提取融入特征融合模块,以加强对小目标的检测效果。该改进算法框架在VOC公开数据集上的mAP为81.8%,在自制的针对小目标的航拍数据集上的mAP为82.8%,在牺牲了部分速度的情况下,在精度方面产生了较大的优势。

无人机场景下尺度自适应的车辆跟踪算法

为解决传统相关滤波算法对无人机(UAV)拍摄视频中的车辆进行跟踪时,因目标车辆尺度变化而产生模型漂移的问题,提出了一种改进的尺度自适应的车辆跟踪算法。该算法基于核相关滤波,通过构建区分尺度的空间跟踪器,即利用两个滤波器分别对目标车辆的位置进行定位,对目标车辆的尺度进行估计,以此来快速确定目标相关信息,实现对目标车辆尺度的自适应。此外为解决目标车辆因快速形变而导致跟踪效果不佳的问题,还加入了对形变不太敏感的颜色特征,增加滤波器的鲁棒性,采用统计颜色特征方法,不受模板类特征限制。该改进算法在经过OTB和UAV数据集中28段车辆相关的视频序列测试后,平均距离精度为80.8%,平均成功率为82.7%,FPS达到了58.24。实验表明该算法可以提高在无人机场景下对车辆的检测跟踪效果,能够有效解决目标车辆因尺度变化和快速形变产生的问题,相比于其他核相关滤波算法有着更优秀的跟踪精度和实时性。

特征混合增强与多损失融合的显著性目标检测

针对当前显著性目标检测算法存在的特征缺失和区域一致性差的问题,基于全卷积神经网络提出一种特征混合增强与多损失融合的显著性目标检测算法。该算法包含上下文感知预测模块(CAPM)和特征混合增强模块(FHEM)。首先利用上下文感知预测模块提取图像多尺度特征信息,并且在预测模块中嵌入空间感知模块(SAM)以进一步提取图像高层语义信息,然后利用特征混合增强模块对预测模块产生的全局特征信息和细节特征信息进行有效的整合,并利用特征聚合模块(FAM)对整合的信息进行特征增强。此外,提出了一种新的区域增强损失函数(RA),并将此损失函数与已有的二进制交叉熵(BCE)损失函数、结构化相似度(SSIM)损失函数融合,以多损失融合的方式监督网络保持前景区域的完整性以及增强区域像素一致性。在五个包含多个显著性目标和复杂背景的图像数据集上对算法进行验证,实验结果表明,该算法有效地提高了复杂场景下显著性目标的检测精度,改善了显著图特征缺失与区域一致性差的问题。

加权网络下的小目标检测算法

对于一幅图的观察,本能上会更多关注这幅图中相对更醒目的对象。通常这类对象会在这幅图中占据较大比重,从而导致小目标被忽视。由于小目标所在区域往往为弱测区域,检测器提取特征的过程中能够提取的特征较少,且在提取完特征后在特征信息传递的过程中容易丢失,使得针对小目标检测的效果并不是很好。因此,在单阶检测器的基础上,加入了跨信道交互的机制确保层间信息的完整,同时采取对训练样本进行目标增强并且设计了一个通用的损失函数,在此基础上改进样本加权网络预测样本的任务权重。提出的框架UWN在VOC公开数据集上的mAP为81.2%,在自制的小目标航拍数据集的mAP为82.3%。相对于FSSD算法,牺牲了部分速度,得到了精度方面的较大提升。

梯度导向的通道选择目标跟踪算法

通常在目标跟踪任务中需要跟踪的目标物体具有任意性,同时目标周围可能有相似的干扰物体,这常常导致预训练网络提取的目标特征并不完全适用于当前需要跟踪的目标物体。针对以上问题,在Siamese孪生网络目标跟踪框架下,提出一种新型的基于梯度导向的通道选择目标跟踪算法。首先从预训练网络提取待跟踪目标特征,利用提出的开关-惩罚损失函数对背景中的相似性干扰物体施加惩罚操作,以排除相似物体对跟踪目标的干扰;其次在特征通道选择阶段,根据损失函数反向传播的梯度信息选择特征表达性最强的特征通道;最后在模板分支与搜索分支进行互相关操作部分,利用逐通道互相关方法获得加权的分数响应图以获得更精确的目标位置。在OTB和VOT公开数据集上将该算法和主流算法进行比较。实验结果表明,该算法具有良好的抗背景干扰能力和鲁棒性,在主要跟踪指标上达到了主流跟踪算法的性能。

异构分支关联特征融合的行人重识别

针对行人重识别(Person Re-ID)过程中,多分支结构的网络模型在提取行人特征时缺乏异构特征的问题,提出一种异构分支关联特征融合的行人重识别算法。训练阶段,将OSNet与注意力机制相结合作为主干共享网络,以学习到具有更强显著性和区分性的行人关键特征;将分支网络输出的行人特征进行水平均等分割,再提取关联条纹特征,从而全面利用位于条纹间的综合信息;设计异构特征提取模块,以增加模型学习差异特征所需的结构多样性。推理阶段,将多个特征向量融合成一个新的特征向量,再进行相似性判断。将该方法在Market-1501、DukeMTMC-reID数据集上进行有效性实验验证并对结果进行分析,所提算法能够提高行人重识别的准确率,模型所提取的特征具有较强的鲁棒性和判别力。

时序行为提名的上下文信息融合方法

在针对视频的人体活动定位和识别领域中,现有的时序行为提名方法无法很好地解决行为特征长期依赖性而导致提名召回率较低。针对此问题,提出了一种上下文信息融合的时序行为提名方法。该方法首先采用三维卷积网络提取视频单元的时空特征,然后采用双向门控循环网络构建上下文关系预测出时序行为区间。针对门控循环单元(GRU)存在参数较多和梯度消失的问题,通过输入特征控制门结构增强并行计算能力,通过引入加权平均增强历史和当前时刻信息融合能力,提出了一个简化的门控循环单元(S-GRU)。最后在数据集Thumos14上进行实验验证和比较,结果表明基于双向S-GRU循环网络的时序行为提名方法提高了提名召回率。