融合残差结构与注意力机制的暗光图像增强算法

目的低光工况或拍摄技巧影响都可能获得低光照图像,为解决此类图像对比度低、噪声大、颜色失真等问题,提出一种卷积神经网络增强模型RetKIND,包括分解网络、亮度调整网络和降噪网络。方法它借助残差模块(RB)和跳跃连接,有效抑制分解网络在分解时产生的噪声;融合U-Net架构、空洞卷积和EBAM高效注意力机制构建降噪网络,利用空洞卷积扩大感受野,提取更多图像信息,提高EBAM在通道和空间上提取反射图的细节、纹理、颜色等特征的能力,实现图像去噪;由UC(亮度调整网络中的自定义模块)和普通卷积组成亮度调整网络,旨在减少光照图细节缺失,提高光照分量对比度。融合去噪后的反射分量和增强后的光照分量,得到正常光照图像。结果仿真结果表明:在LOL数据集上,相较R2RNet,FPSNR和FSSIM值分别上升了6.2%和4.2%;相较URetinex-Net,FPSNR和FSSIM值分别上升了5.9%和1.2%;相较DEANet,FPSNR和FSSIM值分别上升了2.9%和1.1%。结论Ret-KIND模型既能提升图像亮度,又能降低图像的噪声,有助于推动低光图像增强模型应用到目标检测领域。

基于多尺度与坐标注意力机制的交通标志识别研究

针对智能交通识别系统需要具备较高的检测速度和识别精度的要求,在YOLOv4-tiny算法的基础上提出一种基于多尺度与坐标注意力机制融合的改进型轻量化YOLOv4-3RSCtiny算法。首先将主干网络中的Resblock_body模块改进为参数量更少的ResblockD轻量化模块,用于提高算法的检测速度;其次引入特征金字塔池化网络,丰富深层特征图的空间信息,在预测阶段引入坐标注意力机制,降低背景信息的干扰;最后利用具有多次跨级融合的路径增强特征金字塔网络,提高算法对小型目标物体的识别率。在TT100K数据集上进行测试,实验结果表明,相较于YOLOv4-tiny算法,YOLOv4-3RSCtiny算法具有较高的准确性和较好的实时性。

基于并行多注意力的语音增强网络

针对受干扰语音的频域增强问题,提出一种基于并行多注意力机制和编解码结构的语音增强网络(PMAN)。网络输入经过短时傅里叶变换(STFT)的语音频域特征,包含振幅谱和复数谱,编码器使用密集卷积模块对输入数据信息进行整合,中间层的并行多注意力模块学习频域的局部和全局信息,并融合局部块注意力(LPA)机制捕捉语音频域二维(2D)结构,实现干净语音与干扰因素的2D层面分离。解码器将学习到的信息进行整合,分别生成振幅掩模和复数频谱,根据加权求和生成最终的语音复数频谱,使用时域与频域联合损失函数实现相位信息的融合。在VoicеBank+DEMAND语音数据集上的实验结果表明,与基于两阶段变换器的时域语音增强神经网络(TSTNN)相比,经过PMAN增强后语音的客观语音质量评价(PESQ)、短时客观可懂度(STOI)、分段信噪比(SSNR)指标值分别提升10.8%、1.1%、11.8%,具有较好的语音增强效果。

基于SK注意力残差网络的水下图像增强

针对水下图像颜色失真、关键信息模糊和细节特征丢失的问题,提出一种基于SK注意力残差网络的水下图像增强方法.该方法通过改进生成对抗网络中的生成器结构,引入残差模块,减少编码器和解码器之间的特征丢失,增强了图像细节和颜色.为了使网络能适应不同尺度的特征图提取图像关键信息,该方法在残差模块后添加SK注意力机制,采用参数修正线性单元来提高网络的拟合能力.将本文方法分别在真实和合成的水下图像数据集中进行验证,采用传统方法和深度学习的方法进行主客观评价.在主观效果分析中发现,本文方法增强后的图像颜色、关键信息和细节特征都有很大提升.在客观评价指标中发现,本文方法指标值均高于现有的水下图像增强算法,验证了该算法的有效性.

基于EM自注意力残差的图像超分辨率重建网络

基于深度学习的图像超分辨率(SR)重建方法主要通过增加模型的深度来提升图像重建的质量,但同时增加了模型的计算代价,很多网络利用注意力机制来提高特征提取能力,但难以充分学习到不同区域的特征。为此,提出一种基于期望最大化(EM)自注意力残差的图像超分辨率重建网络。该网络通过改进基础残差块,构建特征增强残差块,以更好地复用残差块中所提取的特征。为增加特征信息在空间上的相关性,引入EM自注意力机制,构建EM自注意力残差模块来增强模型中每个模块的特征提取能力,并通过级联EM自注意力残差模块来构建整个模型的特征提取结构。所获得的特征图通过上采样的图像重建模块获得重建的高分辨率图像。将所提方法与主流方法进行实验对比,结果表明:所提方法在5个流行的SR测试集上能够取得较好的主观视觉效果和更优的性能指标。

基于多头注意力机制的僵尸网络检测方法

为提高僵尸网络的检测精度,解决特征表征单一的问题,提出一种融合挤压和激励模块的多头注意力(SE-MHA)机制实现僵尸网络的准确检测。以会话为单位提取流量的初始特征,引入连接失败熵特征和n-gram序列特征,利用多头注意力(MHA)机制挖掘流量特征间的高维相关性,引入挤压和激励(SE)模块实现自适应调整不同“头”之间的依赖关系,增强MHA机制的表征能力,输入到Softmax分类器中对流量进行分类。通过ISCX-Bot-2014数据集,验证了该方法的精确度和有效性。

多支路融合注意力机制的低光照图像增强

低光照图像因对比度低、细节信息丢失、颜色失真以及噪声伪影等引起的过度曝光,质量差等问题,融合多支路和注意力机制,提出一种基于分解任务的多支路低光增强网络(MANet).首先低光输入图像经过VGG-19卷积对特征采集同时为了降低计算量,将普通卷积替换为可分离卷积的网络提取出边缘、纹理等有效特征.然后为了能够自适应对图像中不同区域进行自适应亮度增强和噪声伪影抑制,在增强模块中引入注意力机制,利用注意力机制来学习和设置不同权重信息,获取特征信息来增强.最后,为了进一步提高图像质量,在融合模块中使用多尺度特征融合,使得上下文信息得到进一步的融合和增强.实验结果表明,MANet能够自适应的提升图像亮度的同时降低图像的噪声和去除伪影,与GLADNet网络相比PSNR提高了7%,SSIM提高了3.3%.

面向超分辨率重建的层次间局部特征增强网络

基于卷积神经网络的超分辨率重建模型以单项传播为主,层次越靠后感知信息的能力越微弱,导致层次间局部特征部分丢失,难以实质提升网络的特征表达能力。针对此问题,提出层次间局部特征增强网络。该方法由级联残差模块、层次间特征增强块和特征感知注意力机制组成。级联残差模块通过有效残差连接增加对残差分支信息的利用;层次间特征增强块提取不同深度特征的依赖关系,自适应调整中间层特征权值增强捕获关键信息的能力;特征感知注意力机制采用方向感知和位置判断的方式准确定位和识别感兴趣对象。多项标准数据集的实验结果表明,该方法能改善超分辨率的视觉重建效果,整体性能优于现有方法。

基于颜色校正和多尺度融合的水下图像增强

为了解决水下图像存在的颜色失真、细节模糊问题,本文算法以Unet网络为基本框架,同时在不同编码层中输入多尺度图像,通过融合上下层间的特征流来获得更优异的细节保持效果,实现了从粗到细的细节提取能力。此外,引入颜色校正模块和双重注意力模块,有效解决了水下图像色偏问题和细节恢复不均匀的问题。实验结果表明,在UFO、EUVP、UIEB数据集上,本文算法增强图像的PSNR和UIQM指标比原始图像平均分别提高了21.3%和25.6%。该算法能有效改善水下图像的视觉质量,在主观视觉和客观评价指标上优于其他算法。

平衡多尺度注意力网络的视网膜血管分割算法

针对现有算法对微血管分割精度低、难以区分病灶区域等问题,提出一种平衡多尺度注意力网络用于分割视网膜血管。在编码阶段引入多尺度特征提取模块,提升感受野减少血管细节特征损失;在编码和解码器间增加细节增强模块,突出目标区域提高信息敏感度;设计平衡尺度注意力模块调节细节和语义特征进行最终预测,减少伪影现象。实验结果表明,在DRIVE数据集上分割准确率为96.42%、灵敏度为83.17%、特异性为98.27%,优于现有其它算法。

基于多路光流信息的微光视频增强算法

图像和视频是记录真实场景信息的重要媒介,它们包含丰富而详细的视觉内容,可以开发各种智能系统来执行各种任务。特别是对于低照度条件下的视频,提升其清晰度和细节可以更好地表现和还原真实场景。针对在夜间低照度环境条件下对周围环境感知的需求,提出一种基于多路光流信息时间一致性的微光视频增强算法。通过引入预测的光流与真实的光流信息,构建三分支孪生网络对微光视频进行增强;同时针对微光视频存在的低信噪比以及模糊化问题,设计一种基于双尺度注意力机制的微光视频去噪模块(CA-Swin模块),以提升网络的去噪性能。通过在DAVIS数据集上进行对比实验和评估,得出所提网络在增强微光视频方面更高效,鲁棒性显著;且该策略还具有通用性,可以直接扩展到大规模数据集。

基于特征增强网络的交通场景图像语义分割

针对当前交通场景图像语义分割时,因特征信息提取不足导致分割精度低的问题,提出了特征增强网络(EFN).首先将网络ResNeXt-101中卷积层5-3的输出输入到多尺度特征注意力模块中进行有针对性的特征提取;然后输出结果与卷积层2-3、卷积层3-3和卷积层4-3提取的特征图通过特征融合模块进行高效的特征融合,最后利用上采样得到图像分割结果。在数据集CamVid上的实验结果表明特征增强网络可有效提高交通场景图像语义分割的精准度。

基于Retinex理论的低光图像增强算法

为了解决低光照图像存在的对比度低、噪声大等问题,提出一种基于Retinex理论的卷积神经网络增强模型(Retinex-RANet)。它包括分解网络、降噪网络和亮度调整网络3部分:在分解网络中融入残差模块(RB)和跳跃连接,通过跳跃连接将第一个卷积层提取的特征与每一个RB提取的特征融合,以确保图像特征的完整提取,从而得到更准确的反射分量和光照分量;降噪网络以U-Net网络为基础,同时加入了空洞卷积和注意力机制,空洞卷积能提取更多的图像相关信息,注意力机制可以更好地去除反射分量中噪声,还原细节;亮度调整网络由卷积层和Sigmoid层组成,用来提高光照分量的对比度;最后将降噪网络去噪后的反射分量和亮度调整网络增强后的光照分量融合,得到最终的增强结果。实验结果显示:Retinex-RANet在主观视觉上不仅提高了低光图像的亮度,还提高了色彩深度和对比度,在客观评价指标上,相较于R2RNet,PSNR值上升了4.4%,SSIM值上升了6.1%。结果表明:Retinex-RANet具有更好的低光图像增强效果。

一种基于SAM-MSFF网络的低照度目标检测方法

由于低照度图像具有对比度低、细节丢失严重、噪声大等缺点,现有的目标检测算法对低照度图像的检测效果不理想.为此,本文提出一种结合空间感知注意力机制和多尺度特征融合(Spatial-aware Attention Mechanism and Multi-Scale Feature Fusion,SAM-MSFF)的低照度目标检测方法 .该方法首先通过多尺度交互内存金字塔融合多尺度特征,增强低照度图像特征中的有效信息,并设置内存向量存储样本的特征,捕获样本之间的潜在关联性;然后,引入空间感知注意力机制获取特征在空间域的长距离上下文信息和局部信息,从而增强低照度图像中的目标特征,抑制背景信息和噪声的干扰;最后,利用多感受野增强模块扩张特征的感受野,对具有不同感受野的特征进行分组重加权计算,使检测网络根据输入的多尺度信息自适应地调整感受野的大小.在ExDark数据集上进行实验,本文方法的平均精度(mean Average Precision,mAP)达到77.04%,比现有的主流目标检测方法提高2.6%~14.34%.

基于深度学习的候选结节检测算法

为提高候选结节检测性能,应用深度学习技术提出基于3DSCANet的候选结节检测算法。该算法提出增强坐标注意力机制模块(SCA),在坐标注意力机制的基础上做出改进,使之能提取三维(3D)特征,并引入自适应卷积提取跨通道特征,增加SCA注意力机制的特征提取能力;提出一种将3D长方体锚框转换为3D球体的方法,并进一步引入新的球体交并比损失函数SIoUX,以充分利用肺结节的球体形态特征。在实验阶段,该方法在LUNA16数据集上采用十折交叉验证的方法进行测试,平均召回率CPM达到0.94。

基于SCC-YOLO的指针式仪表轻量化检测方法

针对指针式仪表检测模型结构复杂、占用内存量高、参数计算量大而导致的不易部署问题,提出一种基于YOLOv5的轻量化仪表目标检测网络SCC-YOLO。采用轻量化主干ShuffleBlock_lite结构重新设计网络主干,引入卷积核重构的深度可分离卷积,通过SimAM无参注意力机制模块进一步提升特征提取能力。融合坐标卷积CoordConv与CARAFE轻量化上采样模块提高模型特征融合性能。利用数据增强技术构建真实场景下和复杂场景下的指针式仪表图像数据集。对比实验结果表明:SCC-YOLO模型能大幅提升指针式仪表的检测效率,模型的参数量平均降低27.3%,计算量平均降低54.8%,精度上综合提升1.3%。轻量化的设计使其能够在移动端与边缘设备更容易部署,能够满足真实场景下的指针式仪表检测任务要求。

深度学习的红外热成像电路板元器件识别研究

针对现有YOLO目标检测算法在自建数据集漏检率高、图像受复杂环境影响造成检测准确率低等问题,提出一种基于YOLO v5改进的红外图像识别算法。根据红外数据图片的独特性质,重新设计主干网络部分,引入全维动态卷积(OMNI-Dimensional Dynamic Convolution, ODConv)模块和改进坐标注意力(Coordinate Attention, CA)机制,提高模型对小目标的检测精确度并减少参数量;其次,引入解耦头(Decoupled Head, DH)模块,提高模型训练的收敛速度;最后,加入GSConv(Graph-Shifted Convolution) Slim模块,以降低模型的复杂度,提高预测速度。实验结果表明:改进后的算法模型漏检率降低40.22%,每秒浮点运算次数(Floating-point Operations Per Second, FLOPs)提升了25%,平均准确率提升了28.32%。

基于改进Yolov3-Tiny的加油站目标检测算法研究

针对加油站场景中的目标检测算法存在检测精度低的问题,提出一种基于Yolov3-Tiny的加油站场景目标检测改进算法。该算法以Yolov3-Tiny模型为基础网络,引入Yolov4算法提出的Mosaic图像增强方式进行数据预处理,采用密集连接模块重构特征提取网络,并将CBAM(Convolutional Block Attention Module)注意力模块与金字塔池化模块(Pyramid Pooling Module)加入到网络中,最终实现了加油站场景下的目标检测。实验结果表明,改进的算法相比于原算法的总体mAP提升了8.2%,能更有效地应用于加油站目标检测中。

面向局部学习的点云分割分类网络

在各种3D对象表示中,三维点云越来越受欢迎,其中基于点的方法在各种数据集上都表现出了良好的性能。针对PointNet++只关注了点本身的信息,并未关注相邻点的信息,同时它采用最大池化聚合局部信息,导致丢失次最大值信息。由此,文中提出Con-PointNet++网络,该网络利用增强局部信息模块,以关注相邻点的信息,从而增强局部信息特征提取;采用局部注意力机制下的融合池化模块,将最大池化与注意力池化特征信息融合,得到更为丰富的局部特征信息。本文方法在室内数据集S3DIS的Area_5区域上评估模型语义分割能力,mIoU达55.2%;在数据集ModelNet40上评估模型分类效果,OA达91.2%。与其他方法相比,所提模型性能均有提升,进一步证明了本文方法的有效性。

基于时序特征灰度图与多任务学习的综合能源负荷短期预测

准确预测综合能源系统(Integrated energy system,IES)中的电、冷、热多元负荷是提高各类能源综合效率、获得更大经济效益的关键。因此,提出一种基于时序特征灰度图与多任务学习的综合能源负荷短期预测方法。首先将初始特征集通过最大互信息系数(Maximum information coefficient,MIC)改进的快速相关滤波算法(Fast correlation-based filter,FCBF)对IES时序特征数据集进行相关性分析和冗余性分析;然后将特征选择结果利用因数重构法与MIC-gamma图像增强的方法重构为时序特征灰度图,能够直观有效地反映实际数据的特征相关性;其次采用基于多任务学习框架的(Convolutional block attention module-convolutional neural network-deep bidirectional gated recurrent unit,CBAM-CNN-DBiGRU)网络进行训练,嵌入的卷积注意力机制模块(Convolutional block attention module,CBAM)与(Deep bidirectional gated recurrent unit,DBiGRU)结构能有效加强共享层的关键信息提取和时序信息处理能力;最后以美国亚利桑那州立大学的IES数据为例对提出的方法进行测试。选取典型工作日和典型休息日并对比多种深度网络模型,测试结果表明,该模型在典型工作日的加权平均绝对百分比误差与加权均方根误差分别最大降低了0.8813%与229.2593 kW,在典型休息日则分别最大降低了0.9942%与360.8007 kW,能够有效提升IES多元负荷预测精度。