基于潜在特征增强网络的视频描述生成方法

视频描述生成旨在用自然语言描述视频中的物体及其相互作用。现有方法未充分利用视频中的时空语义信息,限制了模型生成准确描述语句的能力。为此,提出一种用于视频描述生成的潜在特征增强网络(LFAN)模型。利用不同的特征提取器提取外观特征、运动特征和目标特征,将对象级的目标特征分别和帧级的外观特征与运动特征融合,同时对融合后的不同特征进行增强,在生成描述前利用图神经网络和长短时记忆网络推理对象之间的时空关系,从而得到具有时空信息和语义信息的潜在特征,同时使用长短时记忆网络和门控循环单元的解码器生成视频的描述语句。该网络模型能够准确地学习到对象特征,进而引导生成更准确的词汇及与对象之间的关系。在MSVD和MSR-VTT数据集上的实验结果表明,LFAN模型可以显著提高生成描述语句的准确性,并与视频中的内容呈现出更好的语义一致性,在MSVD数据集上的BLEU@4和ROUGE-L分数分别为57.0和74.1,在MSRVTT数据集上分别为43.8和62.1。

基于多线型特征增强网络的架空输电线检测

针对架空输电线可见光图像中环境背景复杂、电力线像素占比小,导致电力线检测精度低、断点率高的问题,提出具有强化线型特征提取和减少断点能力的多线型特征增强网络(MLED).利用双路残差框架提取线型电力线目标的主干和边缘特征,通过多特征融合模块,在不同尺度的层次上实现主干、边缘和高层特征的深度整合,输出检测结果.在多特征融合模块中嵌入残差、反卷积、多尺度结合等多路运算.实验结果表明,MLED的检测能力较PSPNet、FCRN、UNet有明显提高,多特征融合模块优于传统的残差连接块,可视化结果的F检验(F-Measure)、IoU平均值(Mean IoU)分别为78.4%、77.8%,断点率为30.8%.

基于双重注意力特征增强网络的语义分割方法

语意分割作为计算机视觉领域的研究热点之一,在地理信息系统、医疗影像分析和机器人等领域有广泛应用。然而现有的语义分割方法主要面临两个挑战,即类内不一致和类间难区分问题。为此,我们提出了一种基于双重注意力特征增强网络的方法来实现语义分割。该方法采用位置注意力模块与通道注意力模块来获取丰富的空间信息与上下文信息,并且在网络末端添加金字塔池化模块来聚合不同区域的上下文信息,提高网络捕获全局信息的能力。最终在标准数据集上的实验结果验证了本文方法的有效性。

基于高效聚合特征增强网络的合成孔径雷达船舰检测方法

合成孔径雷达(SAR)由于散射效应以及波长和天线尺寸的分辨率限制,难以获取小尺寸目标的细节和边界信息,因此,检测准确性不高。为了提高SAR船舰检测的准确率以及降低误检率,提出了一种基于高效聚合特征增强网络的SAR船舰检测方法。首先,在主干网络中采用空间通道注意力机制,构建出高效层卷积块作为主要的特征提取模块,以增强模型的特征获取性能,提高模型对船舰目标的识别能力;其次,特征融合部分采用Inception NeXt模块来提高算法效率;最后,在主干网络以及特征提取部分之间构建出一种全局增强特征金字塔分支结构,进一步融合全局特征,避免传输过程中的低维度特征损失,以提升网络的特征融合能力,使其即使对于复杂背景下的小目标仍然能展现出可靠的检测能力。为了证明所提网络的有效性,在SSDD数据集上作了对比实验,实验结果表明,相较于YOLOv7,所提网络的准确率提升了2.5个百分点,召回率提升了9.2个百分点,交并比(IoU)阈值为0.5时的平均精度提升了6.4个百分点,IoU为0.5∶0.95时的平均精度提升了9.9个百分点。实验结果证明,所提网络在提升SAR船舰检测精度、改善误检漏检等方面有显著优势,可作为高精度的检测方法来有效应对SAR船舰检测中存在的问题。

基于注意力融合特征增强的座舱表情识别模型

针对智能座舱驾驶员表情识别深度学习模型准确率和实时性难以兼顾的问题,提出一种基于注意力融合与特征增强网络的表情识别模型EmotionNet。模型以GhostNet为基础,在特征提取模块内利用两个检测分支融合坐标注意力和通道注意力机制,实现注意力机制互补与对重要特征的全方位关注;建立特征增强颈部网络以融合不同尺度特征信息;最终通过头部网络实现不同尺度特征信息决策级融合。在训练中则引入迁移学习思想和中心损失函数以进一步提高模型的识别准确性。在RAF-DB和KMU-FED数据集实验中,模型分别取得85.23%和99.95%识别准确率,并达到59.89 FPS的识别速度。EmotionNet平衡了识别准确率和实时性,达到了较为先进的水平并具备一定的智能座舱表情识别任务的适用性。

基于自适应特征增强分组卷积网络的电能质量扰动分类

分布式电源在接入电网时会产生复杂的电能质量扰动(power quality disturbances,PQDs),为提高对PQDs信号分类识别的准确率,构建了自适应特征增强分组卷积神经网络(grouping convolutional neural network with adaptive feature enhanced network,GCNN-AFEN)。GCNN-AFEN模型的核心:首先,对PQDs信号进行S变换形成时频矩阵图像,利用CNN与结构稀疏的GCNN相结合作为特征学习的基础框架以减少模型参数,进而提高运算速度;然后,AEFN模块通过通道注意力机制、频域特征增强和软阈值去噪环节,自适应学习扰动类型与对应特征图的相关性,增加信噪比,突出能够代表扰动类别的深层特征;最后,通过全连接层(fully connected layers,FC)和Softmax分类器进行分类识别。仿真实验表明,提出的模型对于电能质量扰动信号具有较高的分类识别准确率和噪声鲁棒性,能够用于电能质量扰动的快速识别和分类。

基于多尺度注意力特征增强的异常流量检测方法

针对现有网络异常流量检测方法存在特征冗余以及流量序列的时间依赖性,导致模型训练速度慢和检测性能不佳等不足,提出一种基于多尺度注意力特征增强的异常流量检测方法。首先,通过基于动态分组的特征选择算法从流量数据中选出最优特征集合。其次,使用密集卷积神经网络和多尺度注意力特征提取网络分别提取流量数据的局部和全局特征。最后,利用特征增强网络增强局部和全局特征的区分度和整体表达的有效性,并采用加权融合的方法进行特征融合,实现异常流量检测。实验结果表明,所提方法在CIC-IDS2017和CSECIC-IDS2018数据集上的F1分数分别提升0.17%~2.75%、0.43%~8.99%,具有良好的检测效果。

基于增强特征融合网络的行人重识别方法

针对行人重识别技术受遮挡、背景冗余、光照、姿态以及检测误差等问题的影响,鲁棒的行人特征表达对正确检索行人越来越重要.为了利用对齐特征和度量学习的优势,进一步分析局部空间语义特征.首先,在特征层面:一是在ResNet50框架中嵌入空间变换结构,自适应对齐局部区域空间特征,解决因局部区域不对齐导致的空间语义不一致的问题;二是通过对齐的局部特征设计一种增强特征融合网络,充分利用语义信息间的关联性提取图像的细节特征.然后,在损失函数层面:提出一种排序矩阵方法选取区域样本对,设计了一种局部三元组损失计算方法,联合正则化分类损失共同训练网络,充分利用融合的增强特征,达到高效度量的效果.最后,文中方法结合现有的重排算法进一步提高了Rank-1与mAP检索精度,在行人重识别基准数据集Market-1501上的实验结果,证明了本文方法的有效性.

具有双向增强特征结构的U型肺结节分割网络

在CT影像中精准而有效地分割出肺部结节是肺癌早期诊断的关键。然而,肺结节形态的多样性以及周围环境的复杂性,都给肺结节分割的鲁棒性带来了巨大的挑战。为提高CT影像中肺结节分割的准确性,提出了Bi EFP-UNet(bidirectional enhanced feature pyramid UNet)肺结节分割网络。该结构采用端到端的深度学习方法来解决肺结节的分割任务,通过在原始U-Net网络的编码器和解码器结构之间集成一个双向增强型特征金字塔网络(bidirectional enhanced feature pyramid network,Bi EFPN),加强网络对特征的传递与利用;利用Mish激活函数提高分割效率,并消除原始U-Net网络梯度消失的问题。在肺结节公开数据集LUNA16上的实验结果表明,Bi EFP-UNet网络的Dice相似系数(DSC)可达88.32%,其中,Bi EFPN结构带来的提升为5.25个百分点,Mish激活函数带来的提升为1.21个百分点;与原始U-Net网络相比,Bi EFP-UNet网络的DSC提升了6.46个百分点,能有效解决原始U-Net网络对小目标结节分割性能差、梯度消失的问题。

基于增强全局-局部特征融合的视频描述生成方法

现有的视频描述生成方法提取的特征及特征组合的方式较为简单,导致模型丢失了部分与视频描述相关的重要语义信息,限制了对视频内容的准确描述和理解。分析存在的不足,提出了一种基于增强全局-局部特征融合的视频描述生成方法。首先采用不同特征提取器分别对视频片段提取局部特征和全局特征,为了建模不同级别特征(局部和全局)的相关性,利用特征融合增强网络进行特征融合,丰富模型的特征信息。解码器使用的双向长短期记忆网络,并在其后加入重构网络,重构经编码器处理得到的视频特征序列,最终经过长短期记忆网络生成视频的描述语句。在MSVD与MSR-VTT数据集上的实验结果表明,提出的模型可以显著提高生成的描述语句的准确性。

基于改进双流卷积网络的火灾图像特征提取方法

基于图像处理技术的火灾监测,是近年来火灾监控领域的重要分支。对于开阔场景的火灾监测,利用火灾发生时产生的烟雾和火焰的动、静特性,以双流(Two-Stream)卷积神经网络作为理论基础对火灾进行检测识别。双流卷积神经网络采用空间流与时序流分别提取视频中的空间信息与时序信息,然而火灾初期的信息较为微弱,特征不够明显。为进一步提高初期的识别率,提出一种空间增强网络作为双流卷积神经网络的空间流来提取并增强视频的空间信息。空间增强网络同时对当前帧图片V t和上一帧图片V t-1做卷积,用V t的卷积特征与V t-1的卷积特征做减法,保留卷积特征差异性,再将卷积特征差与当前帧V t的卷积特征相加,从而增强对V t的空间特征卷积;双流卷积网络的时间卷积流对当前帧的光流图片V t′进行时序特征卷积;最后将增强后的空间特征与时序特征融合进行分类。实验结果表明,改进后的双流卷积网络的识别率比原始的双流卷积网络提高了6.2%,且在公开数据集上的测试准确率达到了92.15%,从而证明了该方法的有效性和优越性。此外,与其他方法相比,该网络具有低深度、高识别率的特征,不仅能提高火灾和烟雾的识别率,而且实现了火灾的早期发现,缩短了检测时间。

基于改进YOLOv5算法的绝缘子多缺陷检测

针对绝缘子多缺陷检测精度低、检测速度慢的问题,提出一种改进YOLOv5准确判别绝缘子多缺陷检测算法(YOLOv5⁃GSEM)。首先通过引入GhostNet结构替换原始网络YOLOv5主干网络C3模块,提升网络运算速度;并在SPPF后引入无参注意力模块SimAM,增强有效特征,抑制干扰特征;其次引入增强特征金字塔网络(EFPN)和多尺度特征融合网络(multiscale feature fusion network,MFFN),充分融合多尺度特征,提升网络对绝缘子多缺陷的检测精度。实验结果表明,文中提出的模型平均精度均值(mAP0.5)达到87.8%,较YOLOv5算法提升了2.7%,检测速度提升了4.6%,该网络的提出为绝缘子多种缺陷检测问题提供一种更有效的方法。

基于多尺度与坐标注意力机制的交通标志识别研究

针对智能交通识别系统需要具备较高的检测速度和识别精度的要求,在YOLOv4-tiny算法的基础上提出一种基于多尺度与坐标注意力机制融合的改进型轻量化YOLOv4-3RSCtiny算法。首先将主干网络中的Resblock_body模块改进为参数量更少的ResblockD轻量化模块,用于提高算法的检测速度;其次引入特征金字塔池化网络,丰富深层特征图的空间信息,在预测阶段引入坐标注意力机制,降低背景信息的干扰;最后利用具有多次跨级融合的路径增强特征金字塔网络,提高算法对小型目标物体的识别率。在TT100K数据集上进行测试,实验结果表明,相较于YOLOv4-tiny算法,YOLOv4-3RSCtiny算法具有较高的准确性和较好的实时性。

适用于小样本显微图像数据集的柑橘黄龙病快速诊断模型

为了探究柑橘黄龙病病原菌对宿主叶片主脉显微结构的影响并建立基于叶片主脉显微图像的快速诊断方法,该研究以健康、染病未显症、染病显症和缺镁4类柑橘叶片主叶脉的显微图像为研究对象,提出了一个适用于小样本显微图像数据集的增强特征的无监督训练柑橘黄龙病检测模型(Enhanced Huanglongbing Unsupervised Pre-training Detect Transformer,E-HLBUP-DETR)。该模型首先采用无监督训练结合迁移学习构成上游网络(unsupervised pre-training model),再利用Yolact模型设计出增强特征网络(Enhanced Feature Network,EFN)与DETR(Detect Transformer)相结合构成下游网络,最终建立E-HLBUP-DETR诊断模型。研究结果表明,E-HLBUP-DETR模型检测的准确率可达96.2%,能够解决采用小规模数据集训练的模型存在过拟合和准确率低的问题。相较于未改进的DETR模型,E-HLBUP-DETR具有更高的检测准确率,识别准确率也优于CNN架构ResNext的92.1%与MobileNet的76.3%。研究结果可为显微尺度下柑橘黄龙病的早期快速诊断提供技术支持。

全卷积目标检测的改进算法

基于无锚点的单阶段全卷积目标检测算法(FCOS)无需生成大量的锚点避免了样本不平衡问题,但FCOS可能更适应于某一特定场景。为了增强特征融合,并提高目标检测的准确性,提出了全卷积目标检测算法FCOS的改进算法ConFCOS。该算法设计了一个增强的特征金字塔网络,引入带有全局上下文信息的注意力模块和空洞卷积模块,以减少特征融合过程中的信息衰减。另外,构建了一个级联检测头来检测对象,对检测的边界框进行细化来提高分类和回归的置信度。此外,针对提出的ConFCOS的损失函数进行了优化以提高目标检测的准确率。在COCO数据集上进行的实验表明,ConFCOS的准确度比FCOS提高了1.6个百分点。