基于自适应增殖数据增强与全局特征融合的小目标行人检测

针对当前规模的小目标行人数据集较少,传统行人检测模型对小目标检测效果较差的问题,提出一种基于消隐点性质,提出自适应增殖数据增强和全局上下文特征融合的小目标行人检测方法.利用射影几何与消隐点的性质,对图像中的多个目标进行复制;通过仿射变换投影到新的位置,生成多个大小与背景合理的小目标样本以完成数据增强.利用跨阶段局部网络与轻量化操作改进沙漏结构,融合坐标注意力机制强化骨干网络.设计全局特征融合颈部网络(GFF-neck),以融合全局特征.实验表明,在经过数据增强后的WiderPerson数据集上,改进算法对行人类别的检测AP值达到了79.6%,在VOC数据集上mAP值达到了80.2%.测试结果表明,当搭建实验测试系统进行实景测试时,所提算法有效提升了小目标行人检测识别精度,并满足实时性要求.

基于面部全局抑郁特征局部感知力增强和全局-局部语义相关性特征融合的抑郁强度识别

现有基于深度学习的大多数方法在实现患者抑郁程度自动识别的过程中,主要存在两大挑战:(1)难以利用深度模型自动地从面部表情有效学习到抑郁强度相关的全局上下文信息,(2)往往忽略抑郁强度相关的全局和局部信息之间的语义一致性。为此,该文提出一种全局抑郁特征局部感知力增强和全局-局部语义相关性特征融合(PLEGDF-FGLSCF)的抑郁强度识别深度模型。首先,设计了全局抑郁特征局部感知力增强(PLEGDF)模块,用于提取面部局部区域之间的语义相关性信息,促进不同局部区域与抑郁相关的信息之间的交互,从而增强局部抑郁特征驱动的全局抑郁特征表达力。然后,提出了全局-局部语义相关性特征融合(FGLSCF)模块,用于捕捉全局和局部语义信息之间的关联性,实现全局和局部抑郁特征之间的语义一致性描述。最后,在AVEC2013和AVEC2014数据集上,利用PLEGDF-FGLSCF模型获得的识别结果在均方根误差(RMSE)和平均绝对误差(MAE)指标上的值分别是7.75/5.96和7.49/5.99,优于大多数已有的基准模型,证实了该方法的合理性和有效性。

用于单图像超分辨率的全局特征高效融合网络

现有图像超分辨率网络中普遍存在对层间特征利用水平较低的现象,使得在图像重建过程中有细节特征丢失,最终处理结果纹理模糊、图像质量欠佳。为此提出一种用于图像超分辨率的全局特征高效融合网络模型。主体使用对称卷积神经网络实现浅层特征的逐级提取,并结合Transformer完成浅层与深层特征的融合利用。设计的对称自指导残差模块可以在浅层网络实现不同层间特征更具表达性的融合,同时提升网络的特征提取能力;特征互导融合模块可以增强网络对浅层特征与深层特征的融合能力,促进更多的特征信息参与到细图像重建过程。在Set5、Set14、BSD100和Urban100数据集上同近年来的经典网络(HR、CARN、IMDN、MADNet、LBNet)进行性能对比,实验结果表明:所提网络模型在峰值信噪比上有所提升,并在视觉直观对比中取得了较好的图像超分辨率效果,可改善超分辨率图像质量欠佳的问题。

局部与全局双重特征融合的自然场景文本检测

自然场景中文本的形状、方向和类别等变化丰富,场景文本检测仍然面临挑战。为了能够更好地将文本与非文本分隔并准确定位自然场景图像中的文本区域,本文提出一种局部与全局双重特征融合的文本检测网络,通过跳跃连接的方式实现多尺度全局特征融合,对恒等残差块进行改进实现局部细粒度特征融合,从而减少特征信息丢失,增强对文本区域特征提取力度,并采用多边形偏移文本域与文本边缘信息相结合的方式准确定位文本区域。为了评估本文方法的有效性,在现有经典数据集ICDAR2015和CTW1500上进行了多组对比实验,实验结果表明在复杂场景下该方法文本检测的性能更加卓越。

基于双阶段特征解耦网络的单幅图像去雨方法

针对现有的单幅图像去雨方法无法有效地平衡背景图像细节恢复与有雨分量去除问题,提出一种基于双阶段特征解耦网络的单幅图像去雨方法,采用渐进式的学习方式从粗到细分阶段进行单幅图像去雨.首先构建压缩激励残差模块,实现背景图像与有雨分量的初步分离;然后设计全局特征融合模块,其中特别引入特征解耦模块分离有雨分量和背景图像的特征,实现细粒度的图像去雨;最后利用重构损失、结构相似损失、边缘感知损失和纹理一致性损失构成的复合损失函数训练网络,实现高质量的无雨图像重构.实验结果表明,在Test100合成雨图数据集上,所提方法峰值信噪比为25.57dB,结构相似性为0.89;在100幅真实雨图上,所提方法的自然图像质量评估器为3.53,无参考图像空间质量评估器为20.16;在去雨后的RefineNet目标分割任务中,平均交并比为29.41%,平均像素精度为70.06%;视觉效果上,该方法能保留更多的背景图像特征,有效地辅助下游的目标分割任务的开展.

基于全局-局部注意力机制和YOLOv5的宫颈细胞图像异常检测模型

目标建立一种新的基于全局-局部注意机制和YOLOv5的宫颈病变细胞检测模型(Trans-YOLOv5),为准确、高效地分析宫颈细胞学图像并做出诊断提供帮助。方法使用共含有7410张宫颈细胞学图像且均包含对应真实标签的公开数据集。采用结合了数据扩增方式与标签平滑等技巧的YOLOv5网络结构实现对宫颈病变细胞的多分类检测。在YOLOv5骨干网络引用CBT3以增强深层全局信息提取能力,设计ADH检测头提高检测头解耦后定位分支对纹理特征的结合能力,从而实现全局-局部注意机制的融合。结果实验结果表明Trans-YOLOv5优于目前最先进的方法。mAP和AR分别达到65.9%和53.3%,消融实验结果验证了Trans-YOLOv5各组成部分的有效性。结论本文发挥不同注意力机制分别在全局特征与局部特征提取能力的差异,提升YOLOv5对宫颈细胞图像中异常细胞的检测精度,展现了其在自动化辅助宫颈癌筛查工作量的巨大潜力。

基于区域与全局融合特征的以图搜车算法

在视频监控场景中,由于车辆自身外观的多样性和相似性以及无约束的监控环境,以致很难通过全局外观特征区分不同的车辆目标。与全局外观特征相比较,局部区域特征更具区分能力。同时,为了兼顾算法的速度,本文提出一种基于区域与全局融合特征的以图搜车算法。该算法分为三个阶段:首先,以车辆IDs作为标签信息,训练一个车辆的全局特征网络;其次,加入局部区域特征网络,进而联合训练局部区域特征与全局特征网络;在推理阶段,仅采用全局特征网络的特征计算车辆图像之间的相似度。本文采用视频监控场景的图片作为数据集进行算法测试,结果显示所提出的方法的Top10性能达到了91.3%,特征提取时间与单次特征比对时间分别为13.8ms和0.0016ms,满足了应用需求。

基于上下文特征融合的代码漏洞检测方法

针对现有代码漏洞检测方法误报率和漏报率较高的问题,提出基于上下文特征融合的代码漏洞检测方法.该方法将代码特征解耦分为代码块局部特征和上下文全局特征.代码块局部特征关注代码块中关键词的语义及其短距离依赖关系.将局部特征融合得到上下文全局特征从而捕捉代码行上下文长距离依赖关系.该方法通过局部信息与全局信息协同学习,提升了模型的特征学习能力.模型精确地挖掘出代码漏洞的编程模式,增加了代码漏洞对比映射模块,拉大了正负样本在嵌入空间中的距离,促使对正负样本进行准确地区分.实验结果表明,在9个软件源代码混合的真实数据集上的精确率最大提升了29%,召回率最大提升了16%.

基于细粒度特征与注意力机制的机载图像匹配

针对多视图多视角机载图像匹配问题,提出一种基于细粒度特征和互注意力机制的图像匹配方法。该方法在使用卷积神经网络来提取局部细粒度特征的基础上,通过自注意力机制挖掘全局信息并融入细粒度特征表达,再利用互注意力机制增强匹配图像间的相似性细粒度特征。然后计算每个细粒度特征的注意力得分,按其大小对特征分割对齐。最后用改进后的三重损失对整个模型进行约束,使模型在多视图多视角的数据上更具有鲁棒性。在University-1652公开数据集上的实验结果表明,本文方法的匹配性能优于目前先进方法。

全局-局部特征融合的人体姿态估计算法

针对现有人体姿态估计算法存在因骨干网络特征提取不充分,导致关键点特征信息丢失的问题,提出一种结合全局-局部特征融合模块的人体姿态估计网络模型(GLF-Net)。为了在特征提取阶段获得高质量的特征图,该算法从全局特征和局部特征出发,对骨干网络ResNet-50进行改进,分别设计了全局极化自注意力模块和局部深度可分离卷积模块。同时采用并行的结构方式将融合了全局位置信息和局部语义信息特征的模块嵌入到骨干网络的Bottleneck层中,既能增强原骨干网络的特征提取能力,又为后续的Transformer网络提供有效的全局和局部特征输入,进而提高姿态关键点检测的性能。在公开人体姿态估计数据集COCO 2017上和MPII数据集上分别进行模型测试,该算法性能与与基准算法(Poseur)相比,姿态关键点的平均准确度(AP)提升了2.1%,平均召回率(AR)提升了1.5%,正确估计关键点比例(PCKh@0.5)最高达到90.6。实验结果表明,所提算法在姿态估计精度上优于现存同类方法,可以明显提高人体姿态关键点的定位准确度。

基于锚点的快速三维手部关键点检测算法

在人机协作任务中,手部关键点检测为机械臂提供目标点坐标,A2J(Anchor-to-Joint)是具有代表性的一种利用锚点进行关键点检测的方法。A2J以深度图为输入,可实现较好的检测效果,但对全局特征获取能力不足。文中设计了全局-局部特征融合模块(Global-Local Feature Fusion,GLFF)对骨干网络浅层和深层的特征进行融合。为了提升检测速度,文中将A2J的骨干网络替换为ShuffleNetv2并对其进行改造,用5×5深度可分离卷积替换3×3深度可分离卷积,增大感受野,有效提升了骨干网络对全局特征的提取能力。文中在锚点权重估计分支引入高效通道注意力模块(Efficient Channel Attention,ECA),提升了网络对重要锚点的关注度。在主流数据集ICVL和NYU上进行的训练和测试结果表明,相比于A2J,文中所提方法的平均误差分别降低了0.09 mm和0.15 mm。在GTX1080Ti显卡上实现了151 frame·s^(-1)的检测速率,满足人机协作任务对于实时性的要求。

基于改进YOLOv5的遥感小目标检测网络

受遥感图像背景复杂、分辨率高、有效信息量少等因素影响,现有目标检测算法在检测小目标过程中存在错检、漏检等问题。提出基于YOLOv5的遥感小目标检测算法YOLOv5-RS。为有效减少图像中复杂背景和负样本的干扰,构建并行混合注意力模块,采用卷积替换全连接层和移除池化层的操作来优化注意力模块生成权重特征图的过程。为获取和传递更丰富且更具判别性的小目标特征,调整下采样倍数并在模型训练过程中增加小目标信息丰富的浅层特征,同时设计卷积与多头自注意力相结合的特征提取模块,通过对局部和全局信息进行联合表征以突破普通卷积提取的局限性,从而获得更大的感受野。采用EIoU损失函数优化预测框与检测框的回归过程,增强小目标的定位能力。在遥感小目标数据集上进行实验以验证该算法的有效性。实验结果表明,与YOLOv5s相比,该算法在参数量减少20%的情况下平均检测精度提升1.5个百分点,其中,小车类目标的平均检测精度提升3.2个百分点;与EfficientDet、YOLOx、YOLOv7相比,该算法能有效兼顾检测精度和实时性。

融合局部语义与全局信息的人脸表情识别

人脸表情识别在人机交互等人工智能领域发挥着重要作用,当前研究忽略了人脸的语义信息。本文提出了一种融合局部语义与全局信息的人脸表情识别网络,由两个分支组成:局部语义区域提取分支和局部-全局特征融合分支。首先利用人脸解析数据集训练语义分割网络得到人脸语义解析,通过迁移训练的方法得到人脸表情数据集的语义解析。在语义解析中获取对表情识别有意义的区域及其语义特征,并将局部语义特征与全局特征融合,构造语义局部特征。最后,融合语义局部特征与全局特征构成人脸表情的全局语义复合特征,并通过分类器分为7种基础表情之一。本文同时提出了解冻部分层训练策略,该训练策略使语义特征更适用于表情识别,减少语义信息冗余性。在两个公开数据集JAFFE和KDEF上的平均识别准确率分别达到了93.81%和88.78%,表现优于目前的深度学习方法和传统方法。实验结果证明了本文提出的融合局部语义和全局信息的网络能够很好地描述表情信息。