基于增强注意力门控U-Net的建筑物提取研究

针对经典深度学习语义分割网络对建筑物提取存在精度较低、边界模糊和小目标识别困难的问题,本文提出一种增强注意力门控的U型网络(advanced attention gate U-Net,AA_UNet)用于改善建筑物提取的效果,该网络改进经典U-Net的结构,使用VGG16作为主干特征提取网络、注意力门控模块参与跳跃连接、双线性插值法代替反卷积进行上采样.实验采用武汉大学建筑物数据集(WHU building dataset,WHD)对比提出的网络与部分经典语义分割网络的提取效果,并探究网络改进的各个模块对提取效果的影响.结果显示:该网络对建筑物提取的总精度、交并比、查准率、召回率和F1分数分别为98.78%、89.71%、93.30%、95.89%、94.58%,各项评价指标均优于经典语义分割网络,且改进的各个模块有效提高了提取精度,改善了建筑物轮廓不清晰和小目标建筑物破碎的问题,可用于精准提取高分辨率遥感影像中的建筑物信息,对城市规划、土地利用、生产生活、军事侦察等具有指导意义.

融合门控循环单元及自注意力机制的生成对抗语音增强

因其通过两种网络对抗训练并不断提升网络映射能力的特性,生成对抗网络(Generative Adversarial Networks,GAN)具有强大的降噪能力,近年来被应用于语音增强领域。针对现有生成对抗网络语音增强方法未充分利用语音特征序列中的时间相关性和全局相关性这一不足,提出一种融合门控循环单元(Gated Recurrent Unit,GRU)和自注意力机制(self-attention)的语音增强GAN网络。该网络利用串联和并联两种方式构建了时间建模模块,可捕获语音特征序列的时间相关性和上下文信息。与基线算法相比,所设计的新型GAN网络语音质量听觉估计分数(PESQ)提高了4%,且在语音信号分段信噪比(SSNR)和短时客观可懂度(STOI)等多个客观评价指标上表现更优。该研究结果表明,融合语音特征序列中的时间相关性和全局相关性有助于提升GAN网络语音增强的性能。

Att-U-Net:融合注意力机制的U-Net骨导语声增强

近年来,大量全卷积网络、U-Net等编解码网络结构应用于语声增强,然而,此类结构不能充分利用先后时间与高低频率之间的关联信息,对于处理长序列数据存在信息丢失的问题。为保持计算效率的同时实现更充分的时频关联信息建模,该文提出一种融合注意力机制的U-Net网络的骨导语声增强方法(Att-U-Net),通过在跳跃连接中引入注意力机制,生成一个权重矩阵,将编码层中的全局信息根据权重融入对应的解码层中,使网络在编解码过程中能够关注输入数据中与增强目标相关程度高的重要信息,同时抑制不相关的信息。在骨导语声数据集上的实验表明,融合注意力机制的U-Net网络能在保持模型轻量化的同时有效提升骨导语声的增强效果,增强后的语声在各项客观评价指标上均优于基线模型。

联合时频注意力机制和U-Net的单通道语音增强算法

在现实环境中,语音信号常常受到噪声的干扰,影响了人们的通信体验。语音增强的目的是从带噪语音中恢复出纯净语音。针对传统语音增强方法在非平稳噪声条件下增强效果不理想的问题,基于深度学习方法,提出一种联合时频注意力机制和U-Net的语音增强算法:AU-Net。AU-Net在发挥卷积编解码结构对特征多尺度融合优势的同时,能够通过注意力机制获取到更加丰富的语音全局信息。仿真实验表明,相比基线模型,所提算法各项语音评价指标均得到提升,减少了语音背景噪声,有效提高了语音的质量和清晰度。

基于残差注意力机制的肺结节数据增强方法

针对带标注的肺CT图像数据匮乏而导致的深度学习模型训练困难,以及现有生成算法生成肺结节不同特征模糊、细节丢失的问题,提出了肺结节图像的数据增强RAU-GAN算法。首先,在生成器网络中嵌入残差注意力模块,该模块可以聚焦于局部不同的感兴趣区域,以实现肺结节与背景信息的独立生成,并且重新设计了注意力模块中的残差块来减少网络的深度和训练的复杂度。其次,将判别器设计为U-Net架构,可以给更新后的生成器反馈更多信息,以提高判别性能。最后,在数据集LUNA16和Deep Lesion上进行实验,结果与现有方法相比,在视觉效果和不同评价指标上均有提升,验证了生成图像包含了更丰富的细节信息。

融合边缘增强与多尺度注意力的皮肤病变分割

皮肤病变形状、颜色、大小类型多样,给皮肤病变的准确分割带来了巨大挑战。针对这一问题,提出了一种融合边缘增强与多尺度注意力的皮肤病变分割网络(BEMA U-Net)。该网络包含一个用于提取全局特征的空间多尺度注意力模块和一个用于增强病变区域边缘特征的边缘增强模块,将两种模块添加到以编码解码结构为主干的网络(U-Net)中,能够有效抑制病变图像中背景噪声的干扰并强化病灶的边缘细节。此外,设计了混合损失函数,结合Dice Loss和Boundary Loss,并在训练过程中实现混合损失函数的动态权重调整,使网络对病变图像整体特征和边缘细节特征的提取进行多重监督,缓解了皮肤病变图像分割中毛发干扰和边缘模糊的问题。在ISIC2017和ISIC2018两个公开数据集上的实验结果表明,所提算法对皮肤病变部位的分割图像边缘连续、轮廓清晰,具有更好的分割效果。

基于注意力门控膨胀卷积网络的单通道语音增强

在有监督语音增强任务中,上下文信息对目标语音的估计产生重要影响,为了获取更加丰富的语音全局相关特征,该文以尽可能小的参数为前提,设计了一种新型卷积网络来进行语音增强。所提网络包含编码层、传输层与解码层3个部分:编解码部分提出一种2维非对称膨胀残差(2D-ADR)模块,其能明显减小训练参数并扩大感受野,提升网络对上下文信息的获取能力;传输层提出一种1维门控膨胀残差(1D-GDR)模块,该模块结合膨胀卷积、残差学习与门控机制,能够选择性传递特征并获取更多时序相关信息,同时采用密集跳跃连接的方式对8个1D-GDR模块进行堆叠,以增强层间信息流动并提供更多梯度传播方式;最后,对相应编解码层进行跳跃连接并引入注意力机制,以使解码过程获得更加鲁棒的底层特征。实验部分,使用了不同的参数设置以及对比方法来验证网络的有效性与鲁棒性,通过在28种噪声环境下训练及测试,相比于其他方法,该文方法以1.25×10^(6)的参数取得了更优的客观和主观指标,具备较强的增强效果与泛化能力。

基于门控膨胀卷积循环网络的单声道语音增强

上下文信息的使用在语音增强任务中具有重要作用。针对全局语音利用不充分的问题,提出一种用于复数频谱映射的门控膨胀卷积循环网络(GDCRN)。GDCRN包含编码器、门控时间卷积模块(GTCM)和解码器这3部分,编码器和解码器是非对称的网络结构。首先,编码器利用门控膨胀卷积模块(GDCM)扩大感受野,处理特征;其次,使用GTCM捕获更长的上下文信息,并选择性传递特征;最后,解码器使用结合门控线性单元(GLU)的反卷积,反卷积与编码器中对应层的卷积层使用跳跃连接,并引入通道时频注意力(CTFA)机制。实验结果表明,相较于时间卷积神经网络(TCNN)、门控卷积循环网络(GCRN)等网络,所提网络的参数量和训练时间更少,客观语音质量评估(PESQ)和短时客观可懂度(STOI)都有显著改善,最高可提升0.2589和4.67个百分点,具有更好的增强效果与更强的泛化能力。

引入自注意力U-Net的无人机遥感农作物分类模型

精准农业是指信息技术与农业生产全面结合的新型农业。农作物信息和数据是精准农业中最核心的内容,通常使用无人机遥感技术获取农作物信息和数据。文中首先利用无人机采集农田数据,并根据地面参考数据以及相关资料,利用人工标注构建无人机遥感农田样本数据集,利用数据增强的策略扩充样本数据集;其次,提出一种改进的U-Net模型,即自注意力U-Net模型,将其应用于农作物分类。所提模型在传统U-Net的基础上加入自注意力机制,能够提高模型的特征学习能力以及泛化能力。使用所提方法在无人机遥感农田数据集上进行实验得出,与基线模型相比,所提模型能够提升农作物分类性能。

通道注意力联合增强卷积U型网络的图像分割

为提升小目标图像分割性能,提出一种通道注意力联合增强卷积的改进U-Net网络。该网络以增强卷积模块丰富目标特征信息提取,结合通道注意力加强网络对目标特征的专注学习,从而更有效捕捉小目标对象的深层次特征。NIH数据集上的实验结果表明,提出网络在保证计算效率的同时,有效提升了Dice系数、召回率和精确率,能够更好地用于小目标图像分割。

结合空间注意力机制与多尺度分辨率融合的低光照图像增强方法

为了解决低光照条件下拍摄造成的对比度过低、颜色失真等多种图像内容退化问题,提出了一种结合空间注意力机制与多尺度分辨率融合的图像增强方法。首先基于Retinex理论,利用带有空间注意力机制的分解网络将低光照图像分解为光照图与反射图,并且在光照图中,采用伽玛校正对光照图拉伸光照对比度。然后在融合网络中,将校正过的光照图与反射图通过U-net网络,使高、低分辨率的特征图充分融合来生成最终的色泽度饱满、细节信息丰富的结果。提出的算法在LOL-dataset数据集的结构相似度指标为0.8032,比同类最优算法高出6.37%。

基于灰度世界和门控聚合网络的水下图像增强

针对水下机器人在非限制环境中水下作业时,获取的水下图像存在整体色调偏蓝、偏绿、边缘细节较模糊及对比度较低等问题,提出一种基于灰度世界算法和端到端门控上下文聚合网络的水下图像增强算法。该算法通过图像R、G、B等3个通道分量调整的灰度世界算法,获取颜色校正后的水下图像;将校正后的水下图像输入到门控上下文聚合网络中,利用门控网络来融合图像中不同层次的特征,并引入平滑空洞技术和特征注意力模块,消除空洞卷积所出现的网格伪影现象,提高通道信息的灵活性,达到图像增强的效果。最后选取1 000幅参考图像,与6种经典增强算法进行主客观评价。结果表明,该算法在主观质量上提高了图像的对比度和清晰度,修正了水下图像的色偏;在客观评价指标上,测试集A中的峰值信噪比、结构相似性、信息熵和水下图像质量评估的平均值分别达到25.176 0 dB、0.950 9、8.057 9和0.618 2,测试集B的分别达到21.576 1 dB、0.933 1、8.119 4和0.591 4,评价结果都优于6种经典增强算法。

融合自注意力的卷积门控循环网络语音增强

语音时频特征的时间依赖性、局部相关性、全局相关性等特性,使得传统的神经网络结构与时频域语音增强任务无法完全相适应。针对这一问题,首先利用卷积层代替门控循环单元网络中的全连接层,构成卷积门控循环网络,解决门控循环单元网络在时间维度建模时无法提取频率维度局部相关性的问题;又因卷积层无法提取频率维度的全局相关性,进一步利用注意力机制关注全局相关性的能力,解决卷积门控循环网络无法关注频率维度全局相关性的问题,最后提出了一种深度融合自注意力机制的自注意-卷积门控循环网络。实验证明,该网络通过关注时频域特征的多种特性,有效地提升了语音增强性能。

基于时频注意力机制与U-Net的骨导语音鲁棒增强方法

近年来,基于神经网络的方法大量应用于骨导语音增强中。然而,由于骨导数据集样本较少,骨导语音高频部分缺失,不同说话人高频部分失真程度不同,神经网络难以有效学习骨导语音的频谱特征。因此,现有骨导语音增强模型对于未知说话人骨导语音数据集增强效果不佳、鲁棒性不强。为充分利用骨导语音的时频信息,引导模型关注骨导语音的低频部分特征,提出一种基于时频注意力机制和U-Net的骨导语音增强方法。该方法将时频注意力机制引入U-Net结构中,首先根据骨导语音时间、频率方向特征信息的重要程度自动为其分配权重,而后以加权后的骨导语音谱作为输入,对应的气导语音谱作为目标进入U-Net结构训练,最后利用训练完成的增强模型重构骨导语音全频带的语音。仿真实验与可视化分析结果表明,对比基线U-Net结构与其他注意力机制,该方法对于未知说话人骨导语音数据集能够取得更高的PESQ和STOI客观评价指标,增强语音更加清晰。

融合多头自注意力机制的语音增强方法

由于人类在听觉感知过程中存在掩蔽效应,因此能量高的信号会屏蔽掉其他能量低的信号。受到这一现象启发,结合自注意力方法和多头注意力方法,提出融合多头自注意力机制的语音增强方法。通过对输入的含噪语音特征施加多头自注意力计算,可以使得输入语音特征的干净语音部分和噪声部分有较为明显的区分,从而使得后续的处理能够更有效地抑制噪声。实验结果表明,这种语音增强方法相较于使用门控循环神经网络的语音增强方法,语音增强性能更好,增强语音的语音质量与可懂度更高。

融合多尺度特征与上下文信息的语音增强方法

在语音增强中,常用自编码器结构自动提取特征,但这样得到的特征单一或者冗余且不能较好地捕获语音信号的上下文依赖关系。因此,提出一种融合多尺度特征和上下文信息的语音增强方法MSF-CI。首先,利用多尺度卷积块提取语音信号的多尺度特征,解决特征单一问题;其次,利用注意力机制关注所提取特征的空间与通道关键信息,解决特征冗余问题;最后,使用门控卷积循环神经网络学习语音信号中跨度较长的上下文依赖关系,并通过门控线性单元提高该网络的非线性学习能力,从而提高模型的泛化性。实验结果表明,MSF-CI在低信噪比和不同噪声环境下增强语音信号的语音感知质量、短时客观可懂度等多个指标上均优于GRN、DPT-FSNet、U-Net等同类的单通道语音增强模型。在信噪比为0 dB时,该方法的平均语音感知质量和平均语音客观可懂度达到1.49和0.761。在构建的安多藏语语料库上验证模型的泛化性,平均语音感知质量和平均语音客观可懂度相对于噪声提高了20.7%和11.3%,MSF-CI模型不仅可以提升语音的质量与可理解度,而且具有较优的泛化性。

周期规律增强的多视角短期电力负荷预测

短期电力负荷预测对电力系统的可靠运行具有重要意义。现有方法存在如下问题:缺乏对特征之间依赖关系的挖掘;忽略了电力负荷变化的周期性规律。为此,提出一种周期规律增强的多视角短期电力负荷预测网络(EPISODE)方法。EPISODE方法主要包括2个核心组件:多视角特征学习组件和周期规律增强的电力负荷预测组件。前者旨在有效提取电力负荷数据中的静态特征与时序特征,以得到增强的特征表示;后者则是对电力负荷数据进行一般性时序挖掘和周期性时序挖掘,从而得到全面的电力负荷历史数据表征。基于后期融合的方式,实现短期电力负荷预测。在真实公开的电力负荷预测数据集上进行了大量实验。实验结果证明了所提方法相比现有基准方法的先进性。

融合注意力与比较增强学习机制的情感分析

文本情感分析通过提取文本特征,根据文本中的情感倾向进行分类。研究表明,递归神经网络和卷积神经网络模型具有良好的性能。为提高文本情感分类性能,提出一种融合注意力和比较增强学习机制的混合网络情感分析模型,用比较增强学习机制进行分类来替代大量的复杂计算。该模型通过嵌入层向量化后,分别用CNN和双向门控循环单元提取不同特点的文本特征,把两者提取得到的特征进行融合,并引入注意力机制判断不同词对句子含义的重要程度,再使用比较增强学习机制与样本向量进行比较后对特征向量进行评分。混合网络情感分析模型在两个情感分析数据集上的正确率分别到达了92.2%和94.1%,比传统的模型提高了0.6%和0.9%。

基于时频感知双路径Conformer的语音增强

近年来,Conformer在语音领域的应用表现较为突出。该模块通过结合多头自注意力机制和卷积神经网络,能够同时关注短时和长时序列信息,从而在语音处理任务中表现出卓越的性能。在此基础上提出了一种基于时频感知双路径Conformer的语音增强网络(TFDPCNet)。首先,该网络将改进的Conformer结构作为核心,采用双路径结构,构成时频感知的双路径Conformer模块(TFDP-Conformer),增强了整体网络的时频提取能力;同时,为了减小时频特征融合的难度,提出了注意力门控交叉融合模块(AGCF),通过额外的注意力门进一步增强了网络训练过程中时频特征的交互,提高了时频特征的利用率;最后,引用度量鉴别器,并对其进行适当剪枝,使得增强后的音频和原始音频在量化评价指标上保持更高的一致性。实验结果表明,相比于TSTNN算法,TFDPCNet在主观和客观指标上都有明显提高。

基于照度与场景纹理注意力图的低光图像增强

目的 现有的低照度图像增强算法常存在局部区域欠增强、过增强及色彩偏差等情况,且对于极低照度图像增强,伴随着噪声放大及细节信息丢失等问题。对此,提出了一种基于照度与场景纹理注意力图的低光图像增强算法。方法 首先,为了降低色彩偏差对注意力图估计模块的影响,对低光照图像进行了色彩均衡处理;其次,试图利用低照度图像最小通道约束图对正常曝光图像的照度和纹理进行注意力图估计,为后续增强模块提供信息引导;然后,设计全局与局部相结合的增强模块,用获取的照度和场景纹理注意力估计图引导图像亮度提升和噪声抑制,并将得到的全局增强结果划分成图像块进行局部优化,提升增强性能,有效避免了局部欠增强和过增强的问题。结果 将本文算法与2种传统方法和4种深度学习算法比较,主观视觉和客观指标均表明本文增强结果在亮度、对比度以及噪声抑制等方面取得了优异的性能。在VV(Vasileios Vonikakis)数据集上,本文方法的BTMQI(blind tone-mapped quality index)和NIQMC(no-reference image quality metric for contrast distortion)指标均达到最优值;在178幅普通低照度图像上本文算法的BTMQI和NIQMC均取得次优值,但纹理突出和噪声抑制优势显著。结论 大量定性及定量的实验结果表明,本文方法能有效提升图像亮度和对比度,且在突出暗区纹理时,能有效抑制噪声。本文方法用于极低照度图像时,在色彩还原、细节纹理恢复和噪声抑制方面均具有明显优势。代码已共享在Github上:https://github.com/shuanglidu/LLIE_CEIST.git。