基于双重注意力机制生成对抗网络的偏振图像融合

针对单一强度图像缺少偏振信息,在恶劣天气条件下无法提供充足场景信息的问题,本文提出了一种基于双重注意力机制生成对抗网络用于强度图像和偏振度图像进行融合。算法网络由一个包含编码器、融合模块和解码器的生成器和一个鉴别器组成。首先源图像输入到生成器的编码器中,经过一个卷积层和密集块进行特征提取,然后通过含有注意力机制的纹理增强融合模块中进行特征融合,最后通过解码器得到融合图像。鉴别器主要由两个卷积模块和两个注意力模块组成,在网络训练过程中,通过不断博弈,迭代优化生成器网络参数,使生成器输出既保留偏振度图像的稀疏特征又不损失强度图像信息的高质量融合图像。实验表明,该方法得到的融合图像在主观上纹理信息更丰富,更符合人眼的视觉感受,并且在客观评价指标中SD提升约18.5%,VIF提升约22.4%。

基于注意力机制的生成对抗网络图像超分辨重建

针对传统图像超分辨重建技术中存在的特征丢失和缺乏高频细节的问题,在生成对抗网络的基础上结合注意力机制对网络进行改进.生成网络中通过多尺度残差注意力模块,学习不同尺度的图像特征,增强对图像高频细节的学习;再通过整体注意力模块,进一步捕获更多的信息特征,提高网络对图像细节的还原能力,用于最终重建.判别网络中使用非对称卷积替代传统卷积,减少参数计算量;并引入自注意力机制更精确地获取图像全局信息,提高网络重建性能.实验结果表明,重建后图像和原始图像相比具有更多的高频纹理细节,与7种常见的图像超分辨方法相比,PSNR(Picture Signal to Noise Ratio)平均提升约2.43 dB,SSIM(Structural Similarity Image Measurement)平均提升约0.1.

结合生成对抗网络与混合注意力机制的街景图像语义分割

街景图像语义分割是自动驾驶领域的主要研究任务之一,对于路径规划和行人安全保障具有重要意义。目前,街景图像语义分割主要存在小目标物体分割不精确、模型容易出现过拟合的问题。为此,提出一种结合生成对抗网络与混合注意力机制的街景图像语义分割模型。具体而言,提出一种多尺度混合注意力模块,用于增强上下文语义信息、提高特征表征能力和对多尺度目标的适应性。同时,为了降低过拟合,引入BN层,结合DCGAN网络构建生成对抗网络分割模型,通过判别损失和分割损失共同约束训练,以增强模型稳定性、提高分割精度。实验结果表明,与DeepLabV3+相比,所提模型在Cityscapes数据集上的分割精度提高了2.4个百分点,mIoU值达到73.4%。

基于时序生成对抗网络和注意力机制的电器数据生成方法

在智能电网中,非侵入式负荷检测等技术的实现都需要使用大量标记过的电器功率数据,而这类数据的收集和标注十分昂贵、耗时并且容易侵犯用户的安全隐私。为了应对数据收集的挑战,文中提出一种将时序生成对抗网络和通道空间双注意力机制相结合的数据生成方法,用来合成与实际电器功率数据相似的合成数据。时序生成对抗网络结合无监督的灵活性和有监督的可控性,能够进行家用电器数据生成,注意力机制又能够使时序生成对抗网络注重电器启动时的波形,忽略电器未启动时的干扰,构建一个符合真实工况且随机的数据生成模型。文中使用五种性能度量指标对该模型生成的数据进行评估,并且使用主成分分析(PCA)降维进行可视化分析。实验结果表明,使用该方法生成的合成数据具有与真实数据非常相似的特征,并有较高的精度。

结合坐标注意力与生成式对抗网络的图像超分辨率重建

针对现有生成式对抗网络GAN的图像超分辨率重建模型中存在着特征信息利用不充分、VGG式判别器对局部细节的判断能力较弱以及训练不稳定的问题,提出了一种结合坐标注意力与生成式对抗网络的图像超分辨率重建模型。首先,以嵌有坐标注意力的残差块构建生成器,沿通道和空间2个维度聚合特征,更充分地提取特征。然后,调整Dropout加入网络的方式使其作用于生成器中,提高模型的泛化能力。接着,以U-Net结构构造判别器,输出详细的逐像素反馈,以获取真假图像间的局部差异。最后,在判别器中引入谱归一化正则化,稳定GAN的训练。实验结果表明,当放大因子为4时,在基准测试集Set5和Set14上取得的峰值信噪比平均提高了1.75 dB,结构相似性平均提高了0.038,能够重建出更加清晰且真实的图像,重建图像具有良好的视觉效果。

基于注意力-生成对抗网络的任务分析方法研究

合理的任务分析可帮助分析者快速、准确地进行任务规划,目前使用案例推理方法进行任务分析存在分析时间长、分析结果准确性较低等问题。针对该问题,提出了基于注意力-生成对抗网络的任务分析方法。以长短时记忆网络(LSTM)为生成器、循环神经网络(RNN)为判别器,针对离散数据细微梯度的更新无法回传的问题,在生成器中使用rollout policy对生成的不完整序列进行推理补充,在判别器中使用蒙特卡罗(MC)进行数据采样得到完整的数据序列动作价值函数,从而指导生成器的参数更新;针对稀疏数据特征不明显、数据重点不明确等问题,在生成对抗网络训练前加入软注意力机制,为不同特征赋予不同权重从而过滤冗余数据,筛选出重要的特征数据。将该方法与未加入注意力机制的生成对抗网络在同一模拟数据集上进行对比实验,结果表明,加入注意力机制后的方法在精确率(P)、召回率(R)、F1值和准确率(Accuracy)4种评价指标上分别提升了0.088,0.092,0.094和0.068,与其他神经网络推荐算法相比,在P,R,F1值和Accuracy上分别提升了0.1~0.3,0.1~0.2,0.1~0.25和0.07~0.17,证明了该方法的有效性。

基于轻量级注意力生成对抗网络的TEDS图像盲去模糊研究

列车高速运行易导致列车表面部件出现机械损伤,影响列车的运行安全。用于损伤检测的动车组运行故障图像检测系统(TEDS)需进行检测的部件形态多样、体积大小不一,且因列车运动、拍摄设备的震动等带来的拍摄图片不同程度的模糊,给工作人员对故障的分析和标注带来干扰,影响检测的实时性和准确率,故提出一种基于轻量级注意力生成对抗网络的TEDS图像盲去模糊算法。第1步,采用改进的带通道注意力和空间注意力机制的线性倒残差瓶颈模块构建轻量级特征提取网络,将其提取的5种尺度的特征送入特征金字塔网络(FPN)构建生成器,使生成器能有效地关注重点信息、综合底层和高层信息、从多尺度提取特征;第2步,采用谱归一化U_Net作为判别器网络,对局部信息产生更精确的梯度反馈,并在局部,全局双判别器的基础上加入逐像素判别,增强对图像纹理和细节上的对抗学习。研究表明,算法处理后TEDS图片较其他算法对不同尺度的目标均有更好的去模糊效果,图像有更高的清晰度;评价指标PSNR和SSIM达到28.6和91.2%,较其他算法分别提升了0.7和3.8个百分点;轻量级网络参数文件只有13.6 M,与其他算法相比,其速度取得几十倍的提升,在不使用GPU的情况下每分钟可对75张TEDS图片进行去模糊处理,达到TEDS系统的实时性需求。研究成果可有效提高TEDS系统的图片质量,提高损伤检测和标注的精准度,提升工作人员的效率,更好地保障铁路的安全运行。

结合混合注意力的双判别生成对抗网络

图像生成任务中,如何提升生成图片的质量是一个关键问题。当前,生成对抗网络采用的多层卷积结构存在局部性归纳偏置的问题,无法准确聚焦关键信息,导致图像特征丢失严重,生成图像效果较差。为此,提出了结合混合注意力的双判别生成对抗网络(DDMA-GAN)。设计了一种混合注意力机制,利用通道注意力和空间注意力模块,从两个维度充分捕获图像特征信息;为解决单判别器存在判别误差的问题,提出一种双判别器结构,使用融合系数将判定结果融合,使回传参数更具客观性,并嵌入数据增强模块,进一步提升模型鲁棒性;采用铰链损失作为模型损失函数,最大化真假样本间的距离,明确决策边界。模型在公开数据集LSUN和CelebA上进行验证,实验结果表明,DDMA-GAN生成的图像更加真实,纹理细节更加丰富,其FID和MMD值均显著降低且优于其他常见模型,证明了模型的有效性。

基于自注意力机制的音频对抗样本生成方法

随着个人语音数据在网络上的传播以及自动说话人识别算法的发展,个人的声纹特征面对着泄露的风险。音频对抗样本可以在人耳主观听觉不变的前提下,使得自动说话人识别算法失效,从而保护个人的声纹特征。本文在典型的音频对抗样本生成算法FoolHD模型的基础上引入了自注意力机制来改进对抗样本生成,该方法称为FoolHD-MHSA。首先,使用卷积神经网络作为编码器来提取输入音频频谱的对抗扰动谱图;然后利用自注意力机制从全局角度提取扰动谱不同部分特征的关联特征,同时将网络聚焦到扰动谱中的关键信息、抑制无用信息;最后,使用解码器将处理后的扰动谱隐写到输入频谱中得到对抗样本频谱。实验结果表明,FoolHD-MHSA方法生成的对抗样本相比FoolHD方法有着更高的攻击成功率和平均客观语音质量评估(Perceptual evaluation of speech quality,PESQ)得分。

基于状态精细化长短期记忆和注意力机制的社交生成对抗网络用于行人轨迹预测

针对当前行人轨迹预测研究仅考虑影响行人交互因素的问题,基于状态精细化长短期记忆(SR-LSTM)和注意力机制提出一种用于行人轨迹预测的社交生成对抗网络(SRA-SIGAN)模型,利用生成对抗网络(GAN)学习获得目标行人的运动规律。首先,使用SR-LSTM作为位置编码器提取运动意图信息;其次,通过设置速度注意力机制合理地为同一场景中的行人分配影响力,以更好地处理行人的交互;最后,由解码器生成预测的未来轨迹。在多个公开数据集上的测试实验结果表明,SRA-SIGAN模型的总体表现良好。特别是在Zara1数据集上,与SR-LSTM模型相比,SRA-SIGAN模型的平均位移误差(ADE)和最终位移误差(FDE)分别减小了20.0%和10.5%;与社交生成对抗网络(SIGAN)模型相比,SRA-SIGAN的ADE和FDE分别下降了31.7%和24.4%。

一种基于自注意力机制的文本图像生成对抗网络

图像自动生成一直以来都是计算机视觉领域的一项重要挑战,其中的文本到图像的生成更是图像生成领域的重要分支。随着深度学习技术迅猛发展,生成对抗网络的出现使得图像生成领域焕发生机,借助生成对抗网络能够生成较为生动且多样的图像。本文将自注意力机制引入生成对抗网络,提出GAN-SelfAtt以提升生成图像的质量。同时,使用WGAN、WGAN-GP 2种生成对抗网络框架对GAN-SelfAtt进行实现。实验结果表明,自注意力机制的引入能够提高生成图像的清晰度,这归功于自注意力机制弥补了卷积运算中只能计算局部像素区域内的相关性的缺陷。除此之外,GAN-SelfAtt在训练时有着更好的稳定性,避免了原始生成对抗网络中的模式坍塌问题。

基于双维度注意力集成对抗网络的太阳能电池缺陷图像生成

针对太阳能电池缺陷图像稀缺问题,为了对太阳能电池缺陷检测模型进行训练,提出一种双维度注意力集成对抗网络的缺陷图像生成方法.首先构造双生成器与双判别器的集成对抗网络模型;然后将通道注意力与改进的空间注意力结合为双维度注意力,并将其融入生成器与判别器中;最后设计双生成器分时训练的方式解决模型训练不稳定的问题.在太阳能电池电致发光(EL)缺陷数据集上的实验结果表明,5种生成缺陷图像中的图像多样性指标和结构相似性指标比现有最优生成方法最高分别提升53.87和0.46;利用生成的缺陷图像进行yolov5检测模型的训练,5种缺陷的平均精度均值达到96.56%.

融合自注意力机制与生成对抗网络的DEM空洞填充

针对现有数字高程模型(digital elevation model, DEM)数据空洞填充算法存在修复效果不连续、适用空值范围狭小以及细节重构丢失等问题,提出了一种融合自注意力机制的生成式对抗网络的DEM空洞填充方法。首先,构造自注意力机制提取DEM数据特征信息,改善DEM空洞填充结果高程值不连续和纹理细节缺失的问题。其次,在生成器中使用对称结构的卷积与反卷积网络结构,保证生成可靠度较高的数据以实现空洞区域填充,并利用判别器实现空洞填充结果的预分类。最后,结合重构损失函数进行训练,提升DEM空洞填充结果对异常值的鲁棒性,增强模型的回归能力。采用不同分辨率DEM数据进行空洞填充并与现有方法进行对比,结果表明:所提方法能够大幅提升填充精度,有效解决原始数据中存在的空洞问题。

基于改进注意力机制的领域对抗网络的认知负荷识别模型

在认知负荷识别领域,精确的跨领域识别对提高模型的鲁棒性和适应性至关重要,其中基于脑电信号(EEG)的评价方法当前已经成为研究的主流方向,但是由于脑电信号自身具有差异性非稳态性的特点,因此需要提高脑电信号在测量时的泛化性,有效实现通过测量EEG信号进行认知负荷识别.本文提出了一种增加注意力机制的长短时记忆网络和领域对抗网络相结合的深度学习模型,在领域对抗网络中加入了通过经验模态分解(EMD)计算的近似熵注意力机制,该模型通过集成注意力机制增强特征提取能力,能够有效捕捉与认知负荷相关的关键信息;同时通过源域和目标域之间的不断对抗,混淆源域与目标域之间的分布差异,达到提高模型识别泛化性的效果.在完成模型构建之后,选择现有方法与本文提出模型进行对比,取得了较好成绩,证明了本文模型在EEG识别中的优越性.

应用自注意力机制对抗网络进行海洋多次波压制方法研究

由于海面和海底两个强波阻界面的存在,海洋地震资料普遍发育强能量多次反射波,海洋多次波衰减贯穿着整个海洋地震资料处理的始终,是影响海洋地震资料成像品质最主要的因素之一。复杂海域情况下的多次波压制往往需要通过多方法多域分步组合的衰减策略,计算耗时而且多域多步骤会造成计算误差的累计,从而影响多次波的衰减效率和精度。为此,提出了一种基于自注意力机制对抗网络(SA-GAN)的海洋多次波压制方法。首先,针对特征数据利用多域分步组合法压制多次波获得标签数据集;其次,在U-Net生成器网络中引入自注意力机制(SA),构建基于SA-GAN网络的多次压制深度学习模型,并进行网络训练;最后,利用训练完备的SA-GAN网络对整体数据进行多次波压制处理。引入SA的U-Net生成器的GAN网络收敛速度快且计算稳定,在地震样本数据集上具有更好的数据泛化能力。与常规方法相比,本文提出的方法只需人工处理少量特征数据,网络训练后便可进行工区大量数据的多次波压制处理,避免了复杂多次波压制多方法串联组合的繁琐过程,为海洋实际地震数据的多次波压制提供了一种高效手段。模型和NH探区深水实际资料处理结果验证了本方法的有效性。

结合感知注意力机制的生成式对抗网络图像修复

针对现有经典图像修复算法修复结果存在的语义信息不合理、修复边界处易产生伪影等问题,本文结合注意力机制对其进行改进。第一层生成模型对图像进行编码解码操作,完成粗略修复;第二层生成模型结合感知注意力,完成具有更合理语义信息的精细修复;采用局部鉴别器和全局鉴别器对修复内容进行反馈优化。与其他两种主流修复算法基于CelebA数据集进行对比,PSNR值最大程度提升了1.34 dB,SSIM值最大程度提升了0.007。实验结果表明,用结合注意力机制算法修复后图像的语义结构以及纹理的完整性与原图更加接近。

基于条件约束下的自注意力生成对抗网络的图像修复

图像修复是图像处理领域的重要研究方向.为了解决现阶段图像修复算法存在修复区域与周围区域不一致的模糊纹理问题,提出了一种图像修复方法.该方法在生成对抗网络的基础上,引入条件特征和自注意模块,并将数据的具体维度与语义特征相关联.采用该方法训练的修复模型可以对特定类型的图像进行修复,并且保证了整体修复的一致性和局部信息细节的合理性.实验在CeleBA人脸数据集上进行训练测试,获得了良好的修复结果.

注意力机制对生成对抗网络语音增强迁移学习模型的影响

基于深度学习的语音增强模型对训练集外语言语音和噪声进行降噪时,性能明显下降。为了解决这一问题,提出一种引入注意力机制的生成对抗网络(Generative Adversarial Network,GAN)语音增强迁移学习模型。在生成对抗语音增强模型的判别模型中引入注意力机制,以高资源场景下的大量语音数据训练得到的语音增强模型为基础增强模型,结合低资源场景下的少量语音训练数据,对基础增强模型进行权重迁移,提升低资源场景下语音增强模型的增强效果。实验结果表明,采用注意力机制的生成对抗语音增强迁移学习模型,对低资源场景下的带噪语音和集外噪声可以进行有效的降噪。

基于注意力机制的循环一致性生成对抗网络

针对循环一致性生成对抗网络(Cycle-GAN)在图像风格转换任务上出现的纹理细节处理得不好、背景颜色保留较差等问题,并且缩小在配对图像数据集和非配对图像数据集上训练结果的差异,提出一种基于注意力机制的循环一致性生成对抗网络,在生成器网络中融入通道注意力机制(SE-Net),利用网络自主学习的方法得到每一个特征通道的重要程度,再分别赋予每个特征通道不一样的权重系数,以此来强调有重要特征的部分、抑制非重要特征的部分,使得不同特征和不同区域能够被生成器网络非均匀的处理。同时引入对比学习(CL),使网络能够学习到图像的更高层次的通用特征。实验结果表明,所提方法在horse2zebra数据集上取得了较好的结果。

基于自注意力机制的条件生成对抗网络

近年来,越来越多的生成对抗网络出现在深度学习的各个领域中。条件生成对抗网络(Conditional Generative Adver-sarial Networks,cGAN)开创性地将监督学习引入到无监督的GAN网络中,这使得GAN可以生成有标签数据。传统的GAN通过多次卷积运算来模拟不同区域之间的相关性,进而生成图像,而cGAN只是对GAN的目标函数加以改进,并没有改变其网络结构,因此cGAN生成的图像中仍然存在长距离特征之间相关性相对较小的问题,从而导致cGAN生成图像的细节不清楚。为了解决这个问题,将自注意力机制引入cGAN中,并提出了一个新的模型SA-cGAN。该模型通过将图像中相距较远的特征相互关联起来生成一致的对象或场景,进而提升生成对抗网络生成细节的能力。将SA-cGAN在CelebA和MNIST手写数据集上进行了实验,并将其与DCGAN,cGAN等几种常用的生成模型进行了比较,结果证明该模型相比其他几种模型在图像生成领域有一定的进步。