抽样切分卷积实现跨尺度特征融合及内镜图像去模糊

针对内镜图像去模糊过程中语义信息难以提取和细节纹理重建困难的问题,设计了一种新的抽样切分卷积,并将其应用于跨尺度特征融合过程中:通过等间隔抽样将大尺度特征无损切分成小尺度特征块,再与小尺度特征进行卷积融合。过程中大尺度特征的所有值都参与了特征融合,避免了细节信息的丢失;未对小尺度特征进行插值,避免了语义信息的模糊。为进一步实现特征互补,设计了特征交互融合模块,先用语义特征激活细节特征,再将两者融合。针对内镜图像亮通道、中间通道和暗通道的特征差异性设计了梯度重建和频域重建损失函数,提升了重建图像的锐度。在EAD和Kvasir-SEG数据集上,该算法的PSNR分别达到32.88 dB和33.01 dB,SSIM分别达到0.972和0.973。实验结果表明,该算法的性能优于主流去模糊算法,视觉上重建图像的纹理更清晰,且未产生伪影。

基于跨尺度特征融合自注意力的图像描述方法

近年来,基于自注意力机制的编码器-解码器框架已经成为主流的图像描述模型。然而,编码器中的自注意力只建模低尺度特征的视觉关系,忽略了高尺度视觉特征中的一些有效信息,从而影响了生成描述的质量。针对该问题,文中提出了一种基于跨尺度特征融合自注意力的图像描述方法。该方法在进行自注意力运算时,将低尺度和高尺度的视觉特征进行跨尺度融合,从视觉角度上提高自注意力关注的范围,增加有效视觉信息,减少噪声,从而学习到更准确的视觉语义关系。在MS COCO数据集上的实验结果表明,所提方法能够更精确地捕获跨尺度视觉特征间的关系,生成更准确的描述。特别地,该方法是一种通用的方法,通过与其他基于自注意力的图像描述方法相结合,能进一步提高模型性能。

基于跨尺度EEG特征融合的疲劳驾驶检测

疲劳驾驶是交通事故及其所导致死亡的主要原因之一。传统基于生理信号的疲劳驾驶检测方法往往使用单一尺度,使得部分有价值信息丢失。为此,提出了一种基于跨时空尺度脑电(electroencephalogram,EEG)特征融合的疲劳驾驶检测方法。基于可视图理论映射时序EEG信号到空间网络,以实现时空EEG转化;分别提取时域和空域EEG特征,发掘不同时空EEG特征对疲劳驾驶检测的潜力,设计基于特征权重系数的时空EEG特征融合方法,进而实现疲劳驾驶检测。实验结果表明:该方法可以有效地实现疲劳驾驶检测,最高检测准确率能够达到95.15%。

基于匹配提取和跨尺度特征融合网络的风云四号卫星影像超分辨率重建

针对风云四号卫星图像近红外和短波红外波段空间分辨率远低于相应的可见光波段的问题,提出一种基于匹配提取和跨尺度特征融合网络的超分辨率方法,以高分辨率波段图像作为参考图像,辅助重建低分辨率的可见光与近红外波段。首先,使用匹配提取模块,利用高分辨率图像与低分辨率图像间的相似性,将高分辨率图像的细小纹理信息融合到低分辨率图像中。然后,使用跨尺度特征融合方法将仍存在亮度、颜色、结构等差异的参考图像特征图和低分辨率特征图融合。最后,结合空间-光谱总变异损失和L1损失保证重建结果的空间和光谱可信度。实验结果表明,所提方法在空间和光谱可信度方面取得了良好的结果。与Bicubic、RDN、RCAN、EDSR、Dsen2等方法相比,该方法取得了最优的质量评价指标,能有效提高风云四号卫星影像的空间分辨率。

基于改进Deformable DETR的无人机视频流车辆目标检测算法

针对无人机视频流检测中小目标数量多、因图像传输质量较低而导致的上下文语义信息不充分、传统算法融合特征推理速度慢、数据集类别样本不均衡导致的训练效果差等问题,提出一种基于改进Deformable DETR的无人机视频流车辆目标检测算法。在模型结构方面,该算法设计了跨尺度特征融合模块以增大感受野,提升小目标检测能力,并采用针对object_query的挤压-激励模块提升关键目标的响应值,减少重要目标的漏检与错检率;在数据处理方面,使用了在线困难样本挖掘技术,改善数据集中类别样本分布不均的问题。在UAVDT数据集上进行了实验,实验结果表明,改进后的算法相较于基线算法在平均检测精度上提升了1.5%,在小目标检测精度上提升了0.8%,并在保持参数量较少增长的情况下,维持了原有的检测速度。

基于改进YOLOv5的眼睛及瞳孔检测算法

针对眼睛图像易受光照干扰导致的眼睛部位和瞳孔部位检测不准确及误检漏检的问题,提出基于改进YOLOv5的眼睛及瞳孔检测算法。首先,进行图像预处理,对比了三种图像增强方法,决定运用效果较好的CLAHE(限制对比度自适应直方图均衡化)方法进行图像增强,提高对比度;其次,在YOLOv5网络中引入Swin Transformer模块代替骨干网络的最后一个C3模块和三个预测头中的三个C3模块,提高网络的特征提取能力,提升眼睛部位的检测精度;最后,在YOLOv5网络中通过引入多尺度特征跨层融合机制的方法,增加两个目标预测头,降低网络对眼睛部位和瞳孔部位的漏检率。该文从ELSE标准数据集中的Data setXVIII中选取了受光照程度不同的眼睛数据集2 400张,其中,1 600张为训练集,800张为测试集。实验结果表明,改进后的YOLOv5网络能检测出眼睛整体部位及完整的瞳孔部位,检测置信度也较高,mAP提高了3.2百分点,Recall提高了2.7百分点,且具有较好的实时性。

基于Swin Transformer的YOLOv5安全帽佩戴检测方法

针对目前施工现场的安全帽检测方法存在遮挡目标检测难度大、误检漏检率高的问题,提出一种改进YOLOv5的安全帽检测方法;首先,使用K-means++聚类算法重新设计匹配安全帽数据集的先验锚框尺寸;其次,使用Swin Transformer作为YOLOv5的骨干网络来提取特征,基于可移位窗口的Multi-head自注意力机制能建模不同空间位置特征之间的依赖关系,有效地捕获全局上下文信息,具有更好的特征提取能力;再次,提出C3-Ghost模块,基于Ghost Bottleneck对YOLOv5的C3模块进行改进,旨在通过低成本的操作生成更多有价值的冗余特征图,有效减少模型参数和计算复杂度;最后,基于双向特征金字塔网络跨尺度特征融合的结构优势提出新型跨尺度特征融合模块,更好地适应不同尺度的目标检测任务;实验结果表明,与原始YOLOv5相比,改进的YOLOv5在安全帽检测任务上的mAP@.5:.95指标提升了2.3%,检测速度达到每秒35.2帧,满足复杂施工场景下安全帽佩戴检测的准确率和实时性要求。

基于改进YOLOv5s算法的行人检测方法

针对目前行人检测方法存在小目标检测难度大、漏检率高的问题,本文提出了一种改进YOLOv5s算法的行人检测方法。首先,增加一个小目标检测头,来增强模型对小目标的检测能力,根据自建数据集通过K-means聚类算法得到新的先验锚框尺寸;其次,将CA嵌入到YOLOv5s颈部网络的浅层位置和引入新型跨尺度特征融合模块加权特征融合来增强特征提取能力;最后,基于Ghost Bottleneck对YOLOv5s的C3模块进行改进,旨在通过低成本操作生成更多有价值冗余特征图,有效减少模型参数。实验结果表明,与原始YOLOv5s相比,改进的YOLOv5s算法在行人检测任务上的准确率P提高了3.3%,召回率R提高了2.9%,mAP_0.5:0.95提高了2.6%,且减少了12.7%参数量,整体性能有显著提升。

基于DL-SSD模型的交通标志检测算法

针对交通标志图像分辨率低、特征不明显的问题,在SSD(single shot multibox detector)目标检测模型基础上提出改进的DL-SSD(deep and low optimized single shot multibox detector)模型.该算法先通过跨尺度双向特征融合方法(cross-scale bidirectional feature pyramid network,C-BiFPN),将浅层3种不同尺度特征以自底向上和自顶向下的方式进行融合;同时在深层特征提取层提出一种通道注意力机制,增强对交通标志特征的感知能力,从而提高检测精度;最终将浅层和深层特征同时输入分类器进行分类预测.实验结果表明,DL-SSD模型在中国交通标志检测数据集CCTSDB上平均精度均值达92%,比SSD目标检测模型提高了9%,对交通标志有较好的检测效果.