基于空洞卷积与注意力模块的立体匹配算法

基于卷积神经网络的立体匹配算法大多需要较大的感受野,但多数算法在扩大感受野的同时参数量也容易剧增,导致算法对训练数据的规模要求较高。提出一种基于空洞卷积和注意力模块的立体匹配算法,采用空洞卷积模块,将残差结构和空洞卷积相结合,以在较少参数量的情况下扩大网络的感受野。使用注意力模块,通过不同层次的卷积整合多层次的信息,增加所提取信息的完整性。采用空间金字塔池化模块,通过帯权的金字塔池化扩大模型的感受野,并赋予不同层次信息不同的重要性程度。实验结果表明,在相同数据集和训练次数的情况下,所提算法相对于DispNetC等其他算法具有较快的收敛速度,且结构简单,参数量较少,适用于小样本数据。

基于注意力机制的时频域语音增强模型

针对频域单通道语音增强技术存在相位失配问题,提出一种联合时域和频域的语音增强算法,在训练阶段对不同领域的学习目标进行联合优化。加入注意力机制模拟人类听觉感知特点,提升模型对噪声信号的抑制能力。同时使用膨胀卷积扩大感受野,能融合更多输入层信息,有效提取时域和频域中的局部特征。同时联合时域、频域损失函数对不同领域进行优化,以提升语音增强性能。为验证该方法的有效性,使用残差时间卷积作为基线模型在数据集VoiceBank上进行广泛实验,该模型相比使用单一时域或频域的基线模型有更好的语音增强效果。去噪后的语音感知质量(PESQ)为3.06,信号失真比(SI-SDR)为20.00。

红外弱光下多特征融合与注意力增强铁路异物检测

针对红外弱光环境下铁路异物检测时存在目标特征提取不充分、检测精度及实时性低的问题,在CenterNet目标检测模型的基础上,提出了一种红外弱光下多特征融合与注意力增强的无锚框异物检测深度学习模型。在红外目标多尺度特征提取的基础上,引入自适应特征融合(ASFF)模块,充分利用目标高层语义与底层细粒度特征信息,提升红外目标特征提取能力。通过提出的空洞卷积增强注意力模块(Dilated-CBAM)进行关键特征提取,扩大注意力模块感受野范围,克服了原始CenterNet卷积块感受野映射区域变窄、无法检测弱小目标的问题,提升了无锚框网络的检测精度。使用Smooth L1损失函数进行训练,克服了L1损失函数在网络训练过程收敛速度慢及训练不稳定解的问题。通过铁路红外数据集及现场实验测试,结果表明:所提方法较原始CenterNet模型平均检测精度提高了8.03%,检测框置信度提升了31.23%,平均检测速率是Faster R-CNN模型的9.6倍,所提方法在红外弱光环境下能够更加快速准确地检测出铁路异物,主客观评价均优于对比方法。

多尺度特征融合注意力新冠肺炎病灶分割网络

新冠病毒传染性极强,尽早的诊断和治疗是减少疫情造成损失的关键因素。为辅助医生诊断新冠病情,高效、准确地从肺部CT切片中分割新冠病灶,提出了一种改进的编码器-解码器深度神经网络———多尺度融合注意力网络MSANet(Multi-scale Attention Network),以图像分割效果较为出色的U-Net网络为基础,通过全局池化层和设置空洞卷积的采样率,增大网络感受野,捕获多尺度信息,实现对大目标的有效分割;使用通道注意力与空间注意力,在空间维度上建模,有效提取图像深层特征。测试结果表明,改进后的算法与U-Net网络相比,分割的平均交并比提升了1.46%,类别平均像素准确率提升了0.8%,准确率提升了1.17%。

基于多尺度注意力卷积神经网络的苹果叶部病害识别方法

针对传统苹果叶部病害识别方法识别率低和现有卷积神经网络(CNN)训练时间长的问题,提出一种基于多尺度注意力卷积神经网络的苹果叶部病害识别方法。该方法由多尺度空洞卷积模块Inception与改进的残差模块组成,其中,多尺度空洞卷积模块Inception用于图像的多尺度特征提取,在卷积模块中引入双注意力机制增强网络模型,显著表示图像中叶部病斑区域特征,降低非病斑区域与背景区域对识别结果的干扰,在原始残差模块上引入卷积层与非线性激活函数改进的残差模块,增加鲁棒性判别特征的跨层融合,在苹果病害叶片图像数据集上的识别准确率达96%以上。结果表明,所提出的方法具有参数量少、占用内存小以及性能好的优势,可进一步应用于田间苹果叶部病害智能识别系统。

基于双通道卷积注意力网络的语音增强方法

传统的单通道网络模型因表征能力有限,无法充分提取语音深层特征,导致模型的语音增强效果不明显。鉴于此,提出一种双通道卷积注意力网络的语音增强方法。首先,使用卷积神经网络和长短时记忆网络构建并行的双通道学习模块,结合两种不同神经网络的优势,充分挖掘语音的深层特征;其次,在两个通道中分别添加注意力模块,依照关注度对通道的输出特征进行加权,达到强调有益信息的目的;最后,将两个通道的输出进行融合得到增强特征。结果表明,在低信噪比和非平稳噪声环境中,包含双通道结构和注意力模块的模型,其增强效果明显优于其他对比模型,有效提高了增强语音的质量和可懂度,验证了所提模型的可行性。

引入ECA注意力机制的U-Net语义分割

多种应用依赖于数据理解的准确性,而语义图像分割有效地解决了这个问题,它为基于像素级别的场景理解提供了必要的上下文信息。鉴于ResNeXt50相比于一般的卷积操作具有更强的特征提取能力,提出了一种基于ResNeXt50的U-Net网络结构ECAU-Net。在融合过程中,通过引入超强通道注意力(ECA)模块进一步增强特征表示对场景分割的判别能力。除此之外,在整体网络结构中引入空洞卷积,在不改变卷积核大小的情况下扩大图像的感受野范围,从而最大化地提高网络性能。实验结果表明,在CamVid数据集上,ECAU-Net相较于U-Net在Acc, Acc class, MIoU和FWIoU这4个评价指标上分别提高了2.1%,8.6%,8.2%和3.2%。

基于注意力Unet的多尺度胎儿图像分割方法

针对使用传统机器学习方法分割胎儿图像中头部和股骨的精度较低且效果差,提出了一种新型的注意力Unet架构。在注意力Unet中加入了通道注意力机制平均最大模块(AMB),将原有的卷积层模块替换为不同卷积块组合的InceptionV2+模块,并在网络深层处加入了不同尺寸的空洞卷积模块。同时,研究了Dice损失函数和Focal损失函数相结合替换二元交叉熵对图像分割效果的影响。实验结果表明,所提方法对胎儿头部和股骨图像的分割效果良好,在准确率、Dice系数、交并比(IOU)、豪斯多夫距离(HD)评价指标方面优于如今主流的医学图像分割方法。

基于改进CBAM多分支平滑空洞卷积的入侵检测算法

针对现有入侵检测算法模型存在表征能力弱、预测准确率低和漏报率高的问题,本文提出基于改进卷积注意力模块的多分支平滑空洞卷积神经网络(multi-branch smoothed dilation convolutional neural network based on improved convolutional block attention module,MSDCNN-ICBAM)算法模型。该模型首先使用加权随机采样解决数据集不平衡问题,然后设计扁平式的多分支平滑空洞卷积神经网络(MSDCNN)在多感受野下提取多尺度特征以解决网络退化问题,最后提出改进卷积注意力模块(ICBAM)在通道和空间双维度上指导特征表达以解决卷积操作无法感知特征重要性问题。与其他入侵检测模型在UNSW-NB15数据集上的对比实验表明,该模型准确率提高了3.04%,漏报率降低了5.77%,检测率可达90.98%。

基于多尺度融合注意力改进UNet的遥感图像水体分割

针对遥感图像水体分割任务,提出了一种多尺度融合注意力模块改进的UNet网络——A-MSFAM-UNet,该方法在GF-2遥感图像水体分割任务中实现了端到端高分辨率遥感图像水体分割。首先,针对以往注意力模块全局池化操作带来的局部信息不敏感问题,设计了一种多尺度融合注意力模块(MSFAM),该模块使用点卷积融合通道全局信息、深度可分离卷积弥补全局池化造成的信息丢失。MSFAM用于UNet跳跃连接后的特征融合部分重新分配特征点权重以提高特征融合效率,增强网络获取不同尺度信息的能力。其次,空洞卷积用于VGG16主干网络扩展感受野,在不损失分辨率的情况下聚合全局信息。结果表明,A-MSFAM-UNet优于其他通道注意力(SENet、ECANet)改进的UNet,在GF-2水体分割数据集上平均交并比(MIoU)、平均像素精度(MPA)和准确率(Acc)分别达到了96.02%、97.98%和99.26%。

基于生成对抗网络的自然场景低照度增强模型

当前大多数低照度图像增强模型在自然环境中难以兼顾照度增强和原图特征保留两方面的效果,而且不能很好地适应多种不同的低照度场景,为此,提出一种基于生成对抗网络的改进模型。首先通过标准卷积提取浅层特征,然后利用光照一致性损失构建全局-局部照明学习(GLIE)模块。在GLIE内部设计基于全局-局部的特征提取结构,通过移位窗口自注意力机制和多尺度空洞卷积分别实现场景级特征提取和光照增强平滑。通过原图特征保留块对GLIE的输出特征和浅层特征进行拼接融合和通道注意力加强,实现对原图特征的保留和噪声抑制。在此基础上,通过改进的损失函数在模型训练过程中同时实现对照度增强和原图特征保留的有效监督。实验结果表明,该模型主观效果真实自然,与Retinex-Net、EnlightenGAN等主流模型相比,其对原图色彩纹理细节保留和噪声抑制的效果更好,在整体测试数据集上自然图像质量评估指标和亮度顺序误差分别达到3.88和199.4,在不同测试数据集中2个指标都取得了前3名的结果,整体性能良好。

平衡多尺度注意力网络的视网膜血管分割算法

针对现有算法对微血管分割精度低、难以区分病灶区域等问题,提出一种平衡多尺度注意力网络用于分割视网膜血管。在编码阶段引入多尺度特征提取模块,提升感受野减少血管细节特征损失;在编码和解码器间增加细节增强模块,突出目标区域提高信息敏感度;设计平衡尺度注意力模块调节细节和语义特征进行最终预测,减少伪影现象。实验结果表明,在DRIVE数据集上分割准确率为96.42%、灵敏度为83.17%、特异性为98.27%,优于现有其它算法。

多尺度注意力引导的全景分割网络

全景分割是近年来新提出的图像分割任务。现有全景分割模型大都对前景实例对象和背景未定形区采用不同的方式进行特征表示,因此需要额外的后处理和融合操作来处理各种实例重叠和语义冲突问题。全卷积全景分割网络实现了统一的特征表示,省去了这些复杂操作,但其对于前景实例对象的分割准确率不高,对图像中远距离小目标的分割效果不是很理想。针对这些问题,基于全卷积全景分割网络进行改进优化,提出一种多尺度注意力引导的全景分割网络。首先改进特征提取网络,通过在主干网中添加一条自底向上的辅助路径来增强模型的多尺度特征获取能力。其次提出一种注意力模块,通过将空洞空间金字塔池化与通道注意力融合,来引导卷积核更新,生成更匹配的权重。在Cityscapes数据集上与全卷积全景分割网络进行对比实验,图像实例级全景分割质量提高了2.74个百分点,背景未定形区全景分割质量和综合全景分割质量分别提高了1.36个百分点和1.94个百分点,对于交通灯和摩托车等小物体的类别检测准确率分别提高了4.4个百分点和8.3个百分点。提出的全景分割网络综合了全卷积全景分割网络、多尺度特征及注意力机制的优点,使得图像实例级全景分割准确率更高。

基于残差挤压激励与密集空洞卷积的视网膜血管分割

针对现有视网膜血管分割技术存在视网膜血管分割精度不高和病灶区域误分割的问题,提出对U型网络改进,结合密集空洞卷积(dense atrous convolution,DAC)模块与残差挤压激励(residual squeeze and excitation,RSE)模块的视网膜血管分割模型(DACRSE-Unet)。该模型采用改进集成随机失活块(DropBlock)的残差结构,不仅可以构建深层网络来提取更复杂的血管特征,还可以有效缓解过拟合;此外,为了进一步提高网络的表达能力,在改进残差块的基础上引入挤压激励模块(squeeze and excitation,SE);同时,为获取血管更多的上下文信息,在模型中引入DAC模块来实现对视网膜血管的精准分割;最后,在不同数据集上进行验证。结果表明,DACRSE-Unet模型的接受者操作特性曲线下面积分别为0.9869和0.9964,灵敏度分别为0.8226和0.8779,准确率分别为0.9692和0.9830,整体分割效果比其他模型更好。

基于DenseNet与注意力机制的遥感影像云检测算法

遥感影像云检测是遥感影像处理过程中的第一步,针对传统的云检测算法小块薄云检测效果差的问题,该文提出了一种融合注意力机制的密集连接网络遥感影像云检测方法。首先,将自然资源部国土卫星遥感应用中心提供的影像人工勾取云矢量并制作云标签,再将其进行顺序裁剪、色彩抖动、旋转等预处理,以增广样本量;然后,将预处理过后的遥感影像及其标签一并输入到以DenseNet作为编码器与解码器的神经网络中,编码器与解码器之间加入级联的空洞卷积模块以增大感受野,双注意力机制与全局上下文建模模块以抑制一些无关的细节信息;最后,经过实验验证表明其精确率可以达到95%以上,交并比可以达到91%以上,较传统云检测算法有较大提高,可以很好地提取小块薄云。

基于双注意力3D-UNet的肺结节分割网络模型

为提高计算机辅助诊断系统对大尺寸肺结节分割的完整度以及小尺寸肺结节的分割精度,构建双注意力3D-UNet肺结节分割网络模型。将传统3D-UNet网络中的上采样操作替换为DUpsampling结构,通过最小化特征图的像素点与被压缩标签图像之间的损失,得到更具表达能力的特征图,进而提高网络收敛速度。在此基础上,融入空间注意力模块和通道注意力模块,使单通道与多通道中相似的特征彼此相关,增加特征图的全局相关性以提高分割结果的精度。实验结果表明,与3D-UNet等方法相比,该模型有效提高了肺结节分割的准确率,在公共数据集LIDC-IDRI上的MIoU分数达到89.4%。

基于含噪Retinex模型的煤矿低光照图像增强方法

低光照图像会导致许多计算机视觉任务达不到预期效果,影响后续图像分析与智能决策。针对现有煤矿井下低光照图像增强方法未考虑图像现实噪声的问题,提出一种基于含噪Retinex模型的煤矿低光照图像增强方法。建立了含噪Retienx模型,利用噪声估计模块(NEM)估计现实噪声,将原图像和估计噪声作为光照分量估计模块(IEM)和反射分量估计模块(REM)的输入,生成光照分量与反射分量并对二者进行耦合,同时对光照分量进行伽马校正等调整,对耦合后的图像及调整后的光照分量进行除法运算,得到最终的增强图像。NEM通过3层CNN对含噪图像进行拜耳采样,然后重构生成与原图像大小一致的三通道特征图。IEM与REM均以ResNet-34作为图像特征提取网络,引入多尺度非对称卷积与注意力模块(MACAM),以增强网络的细节过滤能力及重要特征筛选能力。定性和定量评估结果表明,该方法能够平衡光源与黑暗环境之间的关系,降低现实噪声的影响,在图像自然度、真实度、对比度、结构等方面均具有良好性能,图像增强效果优于Retinex-Net,Zero-DCE,DRBN,DSLR,TBEFN,RUAS等模型。通过消融实验验证了NEM与MACAM的有效性。

基于HSV空间的井壁图像增强模型

由于矿下环境恶劣,获取的井壁图像会存在噪声大、对比度低等问题。因此,设计一种能够去噪、提升对比度的矿井图像增强网络(Mine Image Enhancement Network,ME-Net)。首先,将井壁图像从红-绿-蓝(Red-Green-Blue,RGB)颜色空间转换到色调-饱和度-亮度(Hue-Saturation-Value,HSV)颜色空间,提取出色调H、饱和度S和亮度V。其次,保持H不变,对S进行自适应伽马校正;在U-Net网络中,结合密集空洞卷积(Dense Atrous Convolution,DAC)、高效通道注意力(Efficient Channel Attention,ECA),编码单元和解码单元对亮度V进行增强。最后,融合H、S、V分量,并将增强后的效果图由HSV空间转换至RGB空间,得到最终的结果。实验表明,ME-Net算法能够自适应提升亮度的同时降低图像的噪声。

融合注意力机制的LandSat8遥感影像云检测算法

针对传统的云检测算法云检测效果差的问题,本文提出了一种融合注意力机制的密集连接网络遥感影像云检测方法。首先,将38cloud公开数据集中的影像使用随机裁剪、色彩抖动、旋转等预处理进行数据增强,以增广样本量;然后,将预处理过后的遥感影像及其标签一并输入到以DenseNet作为编码器与解码器,编码器与解码器之间加入级联的空洞卷积模块以增大感受野,双注意力机制与全局上下文建模模块以抑制一些无关细节信息的神经网络进行训练;最后,经过实验验证发现其可以很好地提取LandSat8遥感影像云的范围。

基于改进YOLOv7的输电线路绝缘子设备及其缺陷检测算法

针对输电线路无人机巡检中绝缘子设备及缺陷图像检测过程中存在的绝缘子目标尺寸变化大、缺陷目标尺寸小、背景复杂干扰多和难易样本不平衡等问题,提出一种基于改进YOLOv7的绝缘子设备及缺陷检测算法:1)针对绝缘子缺陷目标尺寸小问题,在YOLOv7特征提取网络浅层引入卷积注意力机制,聚焦缺陷;2)针对绝缘子目标尺度变化大问题,在YOLOv7特征提取网络底部引入感受野增强模块,提取不同尺度目标特征;3)针对背景干扰问题,改进YOLOv7特征融合网络,在顶部引入显示视觉中心模块,同时关注全局信息与局部信息;4)针对难易样本不平衡问题,使用Focal-EIoU损失替换YOLOv7坐标回归损失。在合并的绝缘子及其缺陷无人机图像公开数据集上,该算法的多类目标检测精度均值达到了97.36%。