引入全局上下文模块和高效注意力机制的车辆跟踪算法

孪生全卷积神经网络目标跟踪算法(SiamFC)近些年成为车辆跟踪领域的研究热点。但该算法缺乏对目标车辆的深层特征提取和整体感知,在背景复杂、低分辨率、光照变化的情况下容易跟丢。提出使用深度残差网络ResNet50作为主干网络,根据跟踪模型特性,从剪裁特征图、调整网络总步长和嵌入高效通道注意力模块三方面对其进行优化,高效提取特征的同时增强模型的差异化认知,并在分支网络引入全局上下文模块(non-local network,NLNet),增强跟踪模型对目标车辆的整体感知。经实验证明,提出的算法在低分辨率、光照变化和复杂背景的情况下跟踪速度和鲁棒性显著提升。在VOT2018和OTB2015数据集中测试均能得到较好的跟踪结果,与经典跟踪模型SiamFC相比,在OTB2015数据集中测试的跟踪精度提高了5.5%,跟踪成功率提高了2.7%,跟踪速度提高了14%可达98帧/s。

信号处理器全局控制模块设计

概述信号处理器全局控制模块的设计、工作原理、关键技术。

融合全局多层次特征的跨尺度河流精准识别方法

高分辨率遥感影像中河流自动化精准识别,在河湖环境监测和流域变化研究等方面具有重要意义和研究价值。然而,因河流在影像中面积占比较小,易造成数据集正负样本不平衡。此外,河流具有形态多变和尺度变换复杂等特点,导致河流识别易出现边界不连续和格网效应等问题。基于此,提出一种融合全局多层次特征的跨尺度河流精准识别方法。首先,选取全球具有明显特征的曲流河和辫状河,创建多特征河流数据集,以此增加数据多样性。其次,以轻量级语义分割模型Segformer为主干网络搭建R-Seg模型,设计全局多层次特征提取GASPP模块,通过各阶段与Transformer级联提取多尺度特征,使得模型能更好捕捉河流影像上下文特征信息,减少信息损失并放大全局维度交互特征。最后,提出基于掩膜加权投票的跨尺度河流影像预测方法,通过对大场景河流影像进行滑窗裁剪,将各单元预测块与特定掩膜加权相乘得到子预测结果,并按照重叠投票方式依次拼接组成最终结果,实现不同尺度河流影像精准识别。实验证明,在所构建包含曲流河和辫状河的多特征数据集中,通过与其他方法对比可发现:在定性方面,R-Seg整体网络结构既能确保主干河流的识别精度,又能缓解细小河流断流现象,有效平滑河流边界,对500×500小尺度河流影像识别具有较好的鲁棒性;此外,采用掩膜加权投票方法,能有效减少格网效应造成的单元图块边缘缺失问题,充分利用单元图块预测结果,提升对更大场景遥感影像的适应能力和河流预测精度,实现不同尺度河流影像精准识别。从定量角度,方法各类精度评价指标相对最优,总体精度可达99.49%;其次,对单张影像识别时间不到1 s,效率可满足大多数实际要求。此外,相比于纯粹重叠预测策略,掩膜加权投票预测策略的河流识别总体精度高约0.28%~6.93%;通过调整重叠度参数可发现,重叠度与精度并非正相关,大约在12.5%精度能达到相对最优。方法通过设计R-Seg网络模型和提出掩膜加权投票预测方法,能一定程度上减少河流边界识别不连续和格网效应等问题,有效提升不同场景下遥感影像河流识别精度,具有较好的鲁棒性和目视效果,识别结果对河流地质勘探及流域变化等有重要应用价值。

基于差分-变分模态分解与全局信息分析网络的辐射源个体识别方法

为了解决基于希尔伯特黄变换(HHT,Hilbert-HuangTransform)辐射源个体识别方法中的模态混叠分解不充分以及低信噪比下效果较差的问题,本文将信号处理与深度学习相结合提出了一种新的辐射源个体识别方法。首先,对信号进行差分处理,并通过变分模态分解得到对应的模态分量;接着,对各模态分量进行希尔伯特变换得到希尔伯特谱;最后,针对希尔伯特谱的稀疏性特点,本文运用改进的全局信息分析模块对其进行全局细微特征提取。本文实验采用ORACLE公开数据集对所提方法进行性能测试,实验结果表明,该方法识别性能优于4种现有的基于希尔伯特黄变换的辐射源识别方法,其不仅有较低的计算复杂度,而且在5 dB信噪比下有着90%以上的识别效果。

面向行为边界框生成的端到端时间全局相关网络

时序行为边界框生成任务的目的是定位未剪辑视频中行为的开始和结束时间.现有的生成行为边界框的方法存在两个缺点:所使用的特征不具有足够的时间全局信息,导致了边界框的不准确;特征提取和边界框生成的过程是分开的,导致生成的特征不完全适合边界框生成任务.为了解决上述问题,本文提出了时间全局相关网络(Temporal Global Correlation Network,TGCNet),利用时间全局相关(Temporal Global Correlation,TGC)模块获取全局信息.TGC模块主要包含动态相关结构和静态相关结构,分别编码动态和静态全局信息.TGCNet网络可以以端到端的方式训练,使得所学习到的特征更适合时序行为边界框生成任务.本文在两个具有挑战性的数据集THUMOS14和ActivityNet1.3上进行了实验,结果表明,所提出的TGCNet网络在这两个数据集上均达到了最好的时序行为边界框生成性能.

基于全局空间注意力的人脸表情识别

人脸表情识别是模式识别领域中一个重要的研究方向。传统的机器学习方法受限于需要手动提取特征,该方式会导致识别结果的泛化能力不足,且稳定性较差。针对该限制,设计了一种基于深度学习的人脸表情识别算法,该算法通过卷积神经网络提取特征,然后经过全局空间注意力模块对特征分配权重,增强并融合重要特征、抑制边缘特征,从而提升网络分类的准确性。通过在FER2013人脸表情数据集上的实验,验证了该算法的合理性与有效性,最高达到了1.014%的准确度提升。最后,将算法应用于真实场景下的人脸表情识别,同样能拥有较高的识别精度,验证了该算法在真实环境下的有效性。

基于全局和局部特征的跨模态行人再识别方法

跨模态行人再识别是对同一行人的可见光图像和红外图像之间进行匹配和识别,相对于单模态行人再识别的难度进一步加大。本文采用循环生成对抗网络(Cycle GAN)转换和扩充数据集,尽可能减少行人体态变化带来的影响;在ResNet50网络的基础上引入全局特征对比模块和局部特征模块,减少图像噪声和行人遮挡带来的影响;将交叉熵损失和改进的三元组损失以比例加和的形式作为多损失联合函数,对网络监督训练。实验结果表明,该方法的平均精确度均值和前十位命中率都达到了较高的水平,优于当前多数方法。

基于双阶段特征解耦网络的单幅图像去雨方法

针对现有的单幅图像去雨方法无法有效地平衡背景图像细节恢复与有雨分量去除问题,提出一种基于双阶段特征解耦网络的单幅图像去雨方法,采用渐进式的学习方式从粗到细分阶段进行单幅图像去雨.首先构建压缩激励残差模块,实现背景图像与有雨分量的初步分离;然后设计全局特征融合模块,其中特别引入特征解耦模块分离有雨分量和背景图像的特征,实现细粒度的图像去雨;最后利用重构损失、结构相似损失、边缘感知损失和纹理一致性损失构成的复合损失函数训练网络,实现高质量的无雨图像重构.实验结果表明,在Test100合成雨图数据集上,所提方法峰值信噪比为25.57dB,结构相似性为0.89;在100幅真实雨图上,所提方法的自然图像质量评估器为3.53,无参考图像空间质量评估器为20.16;在去雨后的RefineNet目标分割任务中,平均交并比为29.41%,平均像素精度为70.06%;视觉效果上,该方法能保留更多的背景图像特征,有效地辅助下游的目标分割任务的开展.

融合多层次浅层信息的航拍小目标检测

针对小目标检测及目标被遮挡的问题,本文基于VisDrone2019数据集构建相应交通场景,提出一种小目标检测算法.首先,充分利用主干网络的浅层特征改善小目标漏检的问题,通过在YOLOv7算法原有的网络结构上增加小目标检测层P2,并在P2小目标检测层的模型上为特征融合网络添加多层次浅层信息融合模块,从而提高算法小目标检测效果.其次,使用全局上下文模块构建目标与全局上下文的联系,增强模型区分目标与背景的能力,改善目标因遮挡而出现特征缺失情况下的被检测效果.最后,本文采用专为小目标设计的损失函数NWD代替基线模型中的CIoU损失函数,从而解决了IoU本身及其扩展对微小物体的位置偏差非常敏感的问题.实验表明,改进后的YOLOv7模型在航拍小目标数据集VisDrone2019(测试集和验证集)上面mAP.5:.95分别有2.3%和2.8%的提升,取得了十分优异的检测效果.

基于改进YOLOv5的无人船视角目标检测方法

针对复杂海况下无人船小尺度水面目标检测效果不佳及无人船数据集出现的样本不均衡的情况,本文提出一种改进YOLOv5的无人船水面目标检测方法。首先,将YOLOv5中主干网络部分替换为GhostNet轻量化网络。其次,在特征提取网络中加入全局空间自适应模块,以限制检测图空间维度上的影响。最后,损失函数部分基于多分类交叉熵损失函数加入可训练的噪声参数,降低样本不平衡带来的影响。通过无人船视角数据集试验结果表明,改进的方法mAP达到86.1%,相比于原始YOLOv5提升6.9%,网络的参数值降低43.4%,检测速度达到69.44帧数/秒,符合无人船等嵌入式设备的需求。改进的YOLOv5方法在检测无人船视角水面目标等情况,具有更好的检测效果。

一种基于FFA-Net改进的单幅图像去雾算法

雾霾会严重影响使用卷积神经网络的视觉系统对目标图像的检测和识别能力,为此本文在特征融合注意力网络FFA-Net的基础上设计和添加全局空间上下文增强(GSCE)模块和细节渐进增强(PDE)模块,进而提出一种改进型单幅图像去雾算法。GSCE模块用于增强全局空间信息,PDE模块用于逐步细化和增强图像特征,二者结合进行高效和轻量级的特征提取,弥补原模型中大量使用跳跃连接所造成的细节信息损失。改进模型分别在公共基准数据集RESIDE的室内数据和室外数据上进行训练,并分别在SOTS的室内和室外两个数据集上进行了测试。结果表明,本文算法明显超越了原FFA-Net和现有典型的单幅图像去雾算法,尤其在SOTS室内测试数据集上,单独融合GSCE模块就使得PSNR指标从36.36 dB提升到38.39 dB,在进一步使用PDE模块后PSNR指标提升到38.78 dB,算法的去雾性能得到较大提高,验证了改进策略的有效性。

基于空间通道注意力的肝脏肿瘤分割

针对肝脏肿瘤分割面临的病灶形状、大小和位置差异明显等问题,文章提出了一种基于空间通道注意力的三维肝脏肿瘤分割方法。在3D U-Net的基础上融合了Transformer,提出成对全局和局部注意力PGLA(Paired Global Local Attention)模块替代Transformer中的传统注意力模块,并在尺度变换前引入CBAM(Convolutional Block Attention Module)模块。在肝脏肿瘤分割挑战赛数据集上的实验结果显示该方法在肿瘤分割的Dice系数上达到了69.18%,这些成绩均优于当前流行的模型,这证明了该方法在提高肝脏肿瘤分割精度方面的有效性。

基于组合模型的局部搜索弱社团结构发现算法

针对复杂网络社团结构发现算法中全局模块度存在的分辨率缺陷问题,即不能发现很多实际存在的小社团,甚至发现的社团不满足普通意义上的社团定义,给出一种新型的多目标整数规划模型。结合弱社团定义、局部适应度和全局模块度标准,提出一种高效的启发式算法,发现网络的层次重叠社团。实验结果表明,该算法克服全局模块度的缺陷,能充分挖掘出小社团,具有较高的效率。

高分辨率皮肤黑色素瘤图像的两阶段式分割算法

皮肤黑色素瘤切片图像分辨率过大且病理特征表现形式多样,现有很多分割算法结果不精准同时消耗巨大显卡内存。针对该问题,提出一种低显存消耗的两阶段式精细分割算法。该算法第一阶段采用全局分割网络对以ResNet50为骨干的特征金字塔结构进行改进,图像特征提取过程中使用全局金字塔平均池化模块增强图像全局语义信息的提取,并采用多尺度特征融合分支将高层特征图的语义信息融入到低层特征图中,增强低层特征图语义信息的表征能力。第二阶段采用一种全局到局部的精细分割策略,以全局分割结果为基准对图像进行剪裁,得到一个较小的候选区域,将其输入到局部分割网络中,局部分割网络仅处理候选区域内的像素并与全局网络对应层共享图像特征,精细分割结果的同时减少显存的消耗。在经典数据集ISIC2018上的实验结果显示,该算法的准确度和IOU分别达到93.5%和82.1%,相较于对比的经典分割算法精度最高且占用的显卡内存减少了22.8%~36.9%,能有效适用于高分辨率皮肤病灶图像的分割任务。

基于单目深度估计和校准参数的距离测算方法

为了提升有监督学习的单目深度估计网络对于实际场景测距任务的准确性和适用性,提出了一种基于单目深度估计和校准参数的距离测算方法。首先通过引入多元注意力模块和优化设计网络结构,构建了一种融合全局上下文和空间注意力机制的网络(GSNet),然后制定校准参数以建立场景的预测距离与实际距离的比例关系,从而获得校准后的距离值。实验证明,融合网络GSNet和校准参数可以有效减小单目深度估计方法在实际测算距离的误差。相比于使用单目深度估计直接预测距离信息,本文方法测算距离的平均绝对误差小于0.15 m,平均相对误差小于10%,具有很好的可行性和准确性。

GCM^(+)-LANet:遥感图像语义分割的全局卷积模块与局部注意力网络模型

遥感图像地物种类丰富、尺寸多变、分布不均衡、背景复杂,导致经典图像语义分割网络难以在遥感图像上取得理想分割效果。局部注意力网络模型(LANet)在遥感图像语义分割上取得了较好的实验效果,但大尺寸、小尺寸和细长的地物目标分割效果不佳。提出了一种改进LANet网络的高分辨率遥感图像语义分割网络模型,首先,针对全局特征提取设计了全局卷积模块(GCM^(+)),以组合卷积的形式扩大感受野,提升大尺寸地物目标的分割性能;其次,利用针对计算机视觉提出的激活函数Funnel ReLU(FReLU)来解决细小目标漏分的问题。实验结果表明:该网络模型在Potsdam数据集上平均交并比达到了75.83%,像素准确率达到了94.95%,比基础网络LANet有较大提升。

基于新型特征融合的安全帽佩戴检测方法

针对在遮挡、光照和其它因素的影响下,检测小尺度工人佩戴安全帽情况时存在漏检、误检的问题,提出以高精度、高速的CenterNet目标检测算法为基础,引入新型特征融合方式用于安全帽佩戴检测的方法。采用U型结构的特征金字塔融合多层特征提高对小尺度目标的敏感性,此外受PoolNet启发,在特征金字塔结构基础上添加全局引导模块和特征整合模块,进一步细化显著目标的细节。在Safety-Helmet-Wearing-Dataset(SHWD)公开数据集上的实验结果表明,整体检测平均精度提高了2.0%,对小尺度工人的检测平均精度提高了3.0%。检测速度达到21 fps,可以满足实时检测的需求。

SMS和双向特征融合的自然背景柑橘黄龙病检测技术

柑橘黄龙病严重影响柑橘的产量和品质。在自然背景下,柑橘叶片之间存在相互遮挡以及尺寸变化大的问题,使得遮挡及小尺寸的黄龙病叶片容易漏检,而且由于黄龙病叶片的颜色、纹理特征与柑橘其他病害十分相似,容易存在误检的问题,导致现有的算法对自然背景柑橘黄龙病检测的精度不高。本研究提出了一种结合剪切混合拼接(Shearing mixed splicing, SMS)增广算法和双向特征融合的自然背景柑橘黄龙病检测方法,该方法通过SMS、镜像翻转和旋转方法对训练集和验证集进行了增广,增加了训练集和验证集图像中背景目标的数量和多样性;为了自适应地改变柑橘黄龙病检测中的局部采样点,增大有效感受野,使用可变形卷积替换骨干网络后3个卷积层中所有的标准卷积;为了减小自然背景的影响,使用全局上下文模块对骨干网络后3个卷积层输出的特征图进行特征增强,来建立有效的长距离依赖,以便更好的学习到全局上下文信息;使用双向融合特征金字塔,改善浅层特征和深层特征的信息交流路径,用以降低因柑橘黄龙病叶片尺寸变化大导致的漏检,提高小尺寸的柑橘黄龙病叶片的检测精度。实验结果表明,本研究提出的方法用于自然背景柑橘黄龙病的检测,平均精度可达84.8%,性能优于SSD、RetinaNet、YOLO v3、YOLO v5s、Faster RCNN、Cascade RCNN等目标检测方法。

基于DenseNet与注意力机制的遥感影像云检测算法

遥感影像云检测是遥感影像处理过程中的第一步,针对传统的云检测算法小块薄云检测效果差的问题,该文提出了一种融合注意力机制的密集连接网络遥感影像云检测方法。首先,将自然资源部国土卫星遥感应用中心提供的影像人工勾取云矢量并制作云标签,再将其进行顺序裁剪、色彩抖动、旋转等预处理,以增广样本量;然后,将预处理过后的遥感影像及其标签一并输入到以DenseNet作为编码器与解码器的神经网络中,编码器与解码器之间加入级联的空洞卷积模块以增大感受野,双注意力机制与全局上下文建模模块以抑制一些无关的细节信息;最后,经过实验验证表明其精确率可以达到95%以上,交并比可以达到91%以上,较传统云检测算法有较大提高,可以很好地提取小块薄云。

基于改进型SSD算法的空瓶表面缺陷检测

注塑空瓶在生产过程中瓶身表面会产生大量缺陷,这些缺陷对产品的外观和使用造成重要的影响。传统的人工检测由于劳动强度高、检测效率低等缺点已不适用,基于机器视觉的传统检测算法对于复杂的场景变化,所提取的特征通常很难用于缺陷分类和识别。因此,提出一种基于SSD算法,对注塑空瓶表面缺陷进行检测。考虑空瓶表面缺陷较小,特征难以提取,为提高检测效果,在SSD网络结构中加入特征融合模块,为预测层提供丰富的语义特征;同时在网络中引入注意力机制,增加网络的特征提取能力,有效地提高网络的检测精度。通过用空瓶表面缺陷数据集对本文的方法进行验证,准确率为98.3%,漏检率为0.74%,误检率为0.96%,mAP为96.5%,相比原始的SSD算法的mAP,本文算法提高了近5.6个百分点。