基于双重注意力机制生成对抗网络的偏振图像融合

针对单一强度图像缺少偏振信息,在恶劣天气条件下无法提供充足场景信息的问题,本文提出了一种基于双重注意力机制生成对抗网络用于强度图像和偏振度图像进行融合。算法网络由一个包含编码器、融合模块和解码器的生成器和一个鉴别器组成。首先源图像输入到生成器的编码器中,经过一个卷积层和密集块进行特征提取,然后通过含有注意力机制的纹理增强融合模块中进行特征融合,最后通过解码器得到融合图像。鉴别器主要由两个卷积模块和两个注意力模块组成,在网络训练过程中,通过不断博弈,迭代优化生成器网络参数,使生成器输出既保留偏振度图像的稀疏特征又不损失强度图像信息的高质量融合图像。实验表明,该方法得到的融合图像在主观上纹理信息更丰富,更符合人眼的视觉感受,并且在客观评价指标中SD提升约18.5%,VIF提升约22.4%。

时变转速下基于双阈值注意力生成对抗网络和小样本的转子-轴承系统故障诊断

可用故障数据的匮乏给时变转速下转子-轴承系统的端到端故障诊断带来严重挑战,生成对抗网络为解决小样本故障诊断问题提供新思路,但其仍存在梯度消失、全局关联特征学习能力较弱和训练效率较低等缺点。因此,提出一种双阈值注意力生成对抗网络,用于生成高质量的红外热成像图片,以解决时变转速下转子-轴承系统的小样本故障诊断难题。首先,结合Wasserstein距离和梯度惩罚设计新型对抗损失函数,避免训练过程中的梯度消失。其次,构建注意力嵌入的生成对抗网络以指导学习红外热成像图片的全局热力关联特征。最后,开发双阈值训练机制进一步提高生成样本质量和训练效率。将所提方法用于分析转子-轴承系统的实测红外热成像图片,结果表明,所提方法能辅助准确诊断时变转速及小样本下的不同故障模式,性能优于目前常用的生成对抗网络方法。

结合混合注意力的双判别生成对抗网络

图像生成任务中,如何提升生成图片的质量是一个关键问题。当前,生成对抗网络采用的多层卷积结构存在局部性归纳偏置的问题,无法准确聚焦关键信息,导致图像特征丢失严重,生成图像效果较差。为此,提出了结合混合注意力的双判别生成对抗网络(DDMA-GAN)。设计了一种混合注意力机制,利用通道注意力和空间注意力模块,从两个维度充分捕获图像特征信息;为解决单判别器存在判别误差的问题,提出一种双判别器结构,使用融合系数将判定结果融合,使回传参数更具客观性,并嵌入数据增强模块,进一步提升模型鲁棒性;采用铰链损失作为模型损失函数,最大化真假样本间的距离,明确决策边界。模型在公开数据集LSUN和CelebA上进行验证,实验结果表明,DDMA-GAN生成的图像更加真实,纹理细节更加丰富,其FID和MMD值均显著降低且优于其他常见模型,证明了模型的有效性。

基于双维度注意力集成对抗网络的太阳能电池缺陷图像生成

针对太阳能电池缺陷图像稀缺问题,为了对太阳能电池缺陷检测模型进行训练,提出一种双维度注意力集成对抗网络的缺陷图像生成方法.首先构造双生成器与双判别器的集成对抗网络模型;然后将通道注意力与改进的空间注意力结合为双维度注意力,并将其融入生成器与判别器中;最后设计双生成器分时训练的方式解决模型训练不稳定的问题.在太阳能电池电致发光(EL)缺陷数据集上的实验结果表明,5种生成缺陷图像中的图像多样性指标和结构相似性指标比现有最优生成方法最高分别提升53.87和0.46;利用生成的缺陷图像进行yolov5检测模型的训练,5种缺陷的平均精度均值达到96.56%.

结合坐标注意力与生成式对抗网络的图像超分辨率重建

针对现有生成式对抗网络GAN的图像超分辨率重建模型中存在着特征信息利用不充分、VGG式判别器对局部细节的判断能力较弱以及训练不稳定的问题,提出了一种结合坐标注意力与生成式对抗网络的图像超分辨率重建模型。首先,以嵌有坐标注意力的残差块构建生成器,沿通道和空间2个维度聚合特征,更充分地提取特征。然后,调整Dropout加入网络的方式使其作用于生成器中,提高模型的泛化能力。接着,以U-Net结构构造判别器,输出详细的逐像素反馈,以获取真假图像间的局部差异。最后,在判别器中引入谱归一化正则化,稳定GAN的训练。实验结果表明,当放大因子为4时,在基准测试集Set5和Set14上取得的峰值信噪比平均提高了1.75 dB,结构相似性平均提高了0.038,能够重建出更加清晰且真实的图像,重建图像具有良好的视觉效果。

基于注意力机制的生成对抗网络图像超分辨重建

针对传统图像超分辨重建技术中存在的特征丢失和缺乏高频细节的问题,在生成对抗网络的基础上结合注意力机制对网络进行改进.生成网络中通过多尺度残差注意力模块,学习不同尺度的图像特征,增强对图像高频细节的学习;再通过整体注意力模块,进一步捕获更多的信息特征,提高网络对图像细节的还原能力,用于最终重建.判别网络中使用非对称卷积替代传统卷积,减少参数计算量;并引入自注意力机制更精确地获取图像全局信息,提高网络重建性能.实验结果表明,重建后图像和原始图像相比具有更多的高频纹理细节,与7种常见的图像超分辨方法相比,PSNR(Picture Signal to Noise Ratio)平均提升约2.43 dB,SSIM(Structural Similarity Image Measurement)平均提升约0.1.

基于注意力-生成对抗网络的任务分析方法研究

合理的任务分析可帮助分析者快速、准确地进行任务规划,目前使用案例推理方法进行任务分析存在分析时间长、分析结果准确性较低等问题。针对该问题,提出了基于注意力-生成对抗网络的任务分析方法。以长短时记忆网络(LSTM)为生成器、循环神经网络(RNN)为判别器,针对离散数据细微梯度的更新无法回传的问题,在生成器中使用rollout policy对生成的不完整序列进行推理补充,在判别器中使用蒙特卡罗(MC)进行数据采样得到完整的数据序列动作价值函数,从而指导生成器的参数更新;针对稀疏数据特征不明显、数据重点不明确等问题,在生成对抗网络训练前加入软注意力机制,为不同特征赋予不同权重从而过滤冗余数据,筛选出重要的特征数据。将该方法与未加入注意力机制的生成对抗网络在同一模拟数据集上进行对比实验,结果表明,加入注意力机制后的方法在精确率(P)、召回率(R)、F1值和准确率(Accuracy)4种评价指标上分别提升了0.088,0.092,0.094和0.068,与其他神经网络推荐算法相比,在P,R,F1值和Accuracy上分别提升了0.1~0.3,0.1~0.2,0.1~0.25和0.07~0.17,证明了该方法的有效性。

基于轻量级注意力生成对抗网络的TEDS图像盲去模糊研究

列车高速运行易导致列车表面部件出现机械损伤,影响列车的运行安全。用于损伤检测的动车组运行故障图像检测系统(TEDS)需进行检测的部件形态多样、体积大小不一,且因列车运动、拍摄设备的震动等带来的拍摄图片不同程度的模糊,给工作人员对故障的分析和标注带来干扰,影响检测的实时性和准确率,故提出一种基于轻量级注意力生成对抗网络的TEDS图像盲去模糊算法。第1步,采用改进的带通道注意力和空间注意力机制的线性倒残差瓶颈模块构建轻量级特征提取网络,将其提取的5种尺度的特征送入特征金字塔网络(FPN)构建生成器,使生成器能有效地关注重点信息、综合底层和高层信息、从多尺度提取特征;第2步,采用谱归一化U_Net作为判别器网络,对局部信息产生更精确的梯度反馈,并在局部,全局双判别器的基础上加入逐像素判别,增强对图像纹理和细节上的对抗学习。研究表明,算法处理后TEDS图片较其他算法对不同尺度的目标均有更好的去模糊效果,图像有更高的清晰度;评价指标PSNR和SSIM达到28.6和91.2%,较其他算法分别提升了0.7和3.8个百分点;轻量级网络参数文件只有13.6 M,与其他算法相比,其速度取得几十倍的提升,在不使用GPU的情况下每分钟可对75张TEDS图片进行去模糊处理,达到TEDS系统的实时性需求。研究成果可有效提高TEDS系统的图片质量,提高损伤检测和标注的精准度,提升工作人员的效率,更好地保障铁路的安全运行。

结合生成对抗网络与混合注意力机制的街景图像语义分割

街景图像语义分割是自动驾驶领域的主要研究任务之一,对于路径规划和行人安全保障具有重要意义。目前,街景图像语义分割主要存在小目标物体分割不精确、模型容易出现过拟合的问题。为此,提出一种结合生成对抗网络与混合注意力机制的街景图像语义分割模型。具体而言,提出一种多尺度混合注意力模块,用于增强上下文语义信息、提高特征表征能力和对多尺度目标的适应性。同时,为了降低过拟合,引入BN层,结合DCGAN网络构建生成对抗网络分割模型,通过判别损失和分割损失共同约束训练,以增强模型稳定性、提高分割精度。实验结果表明,与DeepLabV3+相比,所提模型在Cityscapes数据集上的分割精度提高了2.4个百分点,mIoU值达到73.4%。

基于时序生成对抗网络和注意力机制的电器数据生成方法

在智能电网中,非侵入式负荷检测等技术的实现都需要使用大量标记过的电器功率数据,而这类数据的收集和标注十分昂贵、耗时并且容易侵犯用户的安全隐私。为了应对数据收集的挑战,文中提出一种将时序生成对抗网络和通道空间双注意力机制相结合的数据生成方法,用来合成与实际电器功率数据相似的合成数据。时序生成对抗网络结合无监督的灵活性和有监督的可控性,能够进行家用电器数据生成,注意力机制又能够使时序生成对抗网络注重电器启动时的波形,忽略电器未启动时的干扰,构建一个符合真实工况且随机的数据生成模型。文中使用五种性能度量指标对该模型生成的数据进行评估,并且使用主成分分析(PCA)降维进行可视化分析。实验结果表明,使用该方法生成的合成数据具有与真实数据非常相似的特征,并有较高的精度。

融合上下文注意力的两段式生成对抗网络的肺结节图像生成与分类

提出一种融合上下文注意力的两段式生成对抗网络用于肺结节生成和分类。上下文注意力采用一种通道增强的多头上下文注意力机制,将通道注意力和多头上下文注意力结合,更好地处理特征图中的复杂语义关系,有效增强了模型的特征提取能力;两段式生成对抗网络框架用于实现肺结节在指定肺部区域的注入,该框架将生成任务分为两个阶段:第一阶段生成肺结节感兴趣区域图像,然后通过泊松融合模块与指定的肺实质进行融合,生成初始样本;第二阶段使用改进的CycleGAN模型对初始样本进行微调。同时,在判别器中引入跨层激励模块和辅助分类器实现对特征通道的再校正以及对肺结节的分类。在LIDC-IDRI数据集上进行实验验证,实验结果表明,所提方法在肺结节生成上的FID、IS和KID评分分别为115.153、2.619±0.095和0.062;在肺结节恶性度分类上准确率为70.23%,灵敏度、F1值和AUC分别为68.66%、68.92%和87.59%,表现出优于ADGAN等基于GAN的分类模型,以及VGG16等基准网络的性能。

基于条件约束下的自注意力生成对抗网络的图像修复

图像修复是图像处理领域的重要研究方向.为了解决现阶段图像修复算法存在修复区域与周围区域不一致的模糊纹理问题,提出了一种图像修复方法.该方法在生成对抗网络的基础上,引入条件特征和自注意模块,并将数据的具体维度与语义特征相关联.采用该方法训练的修复模型可以对特定类型的图像进行修复,并且保证了整体修复的一致性和局部信息细节的合理性.实验在CeleBA人脸数据集上进行训练测试,获得了良好的修复结果.

双路径双鉴别器生成对抗网络的红外与可见光图像融合

针对图像融合算法中存在源图像信息保留不够充分、细节信息不够丰富等问题,提出一种基于双路径双鉴别器生成对抗网络的红外与可见光图像融合方法.在生成器端构建基于源图像差异拼接的梯度路径和对比度路径,提高融合图像的细节信息和对比度;通过多尺度分解提取红外与可见光图像的特征信息,解决单一尺度特征提取不全面的问题;然后将源图像引入双路径密集网络的每一层,在提升特征传递效率的同时可获取更多源图像信息;在鉴别器端采用双鉴别器估计红外与可见光图像的区域分布,避免单鉴别器网络丢失红外图像对比度信息的模态失衡问题;最后构造主辅梯度和主辅强度损失函数,提升网络模型的信息提取能力.与8种主流图像融合方法在TNO数据集、RoadScene数据集和MSRS数据集上的对比实验结果表明,所提方法在4个客观评估指标(平均梯度、空间频率、结构相似性和峰值信噪比)上取得较好的结果.

基于双专用注意力机制引导的循环生成对抗网络

现有基于循环生成对抗网络的图像生成方法通过引入独立通用的注意力模块,在无匹配图像转换任务中取得了较好的效果,但同时也增加了模型复杂度与训练时间,而且难以关注到图中关键区域的所有细节,图像生成效果仍有提升的空间。针对上述问题,提出一种基于双专用注意力机制引导的循环生成对抗网络(Dual-SAG-CycleGAN),分别对生成器和判别器采用不同的注意力机制进行引导。首先,提出一种名为SAG(Special Attention-mechanism Guided)的专用注意力模块来引导生成器工作,在提升生成图像质量的同时降低网络的复杂度;然后,对判别器采用基于CAM(Class Activation Mapping)的专用注意力机制引导模块,抑制生成器生成无关的噪声;最后,提出背景掩码的循环一致性损失函数,引导生成器生成更加精准的掩码图,更好地辅助图像转换。实验证明,本文方法与现有同类模型相比,网络模型参数量降低近32.8%,训练速度快34.5%,KID与FID最低分别可达1.13和57.54,拥有更高的成像质量。

一种双注意力融合生成对抗网络的水下图像增强模型

针对水下图像在生成过程中会受到水下杂质污染以及光的吸收等问题,提出了一种双注意力融合生成对抗网络的水下图像增强模型。该模型使用了最新的Pix2Pix网络架构,并通过构建的双注意力机制结构建立丰富的上下文信息来处理水下图像,在模型生成器UNet网络首部增加了改进型Non-local模块,从多尺度角度获取更多全局特征,从而得到更加清晰的图像,在生成器尾部引入了Transformer模块,通过其优异的多头注意力块和多层感知机等结构来提升模型综合性能,从而进一步提升模型语义信息提取能力。实验结果表明,该模型在基准数据集EUVP上的峰值信噪比、结构相似性、水下图像质量评价指标相比其他模型平均提升了5.83%、4.88%和18.02%,而在基准数据集EUVP上的相应指标平均提升了6.21%、17.33%和15.96%。在主观可视化结果下,该模型也能适当处理图像退化问题,使图像呈现更好的清晰度和对比度。

基于双注意力生成对抗网络的煤流异物智能检测方法

在煤炭开采过程中混入的异物可能会导致输送带连接处堵塞甚至输送带撕裂等事故,现有的机器学习算法大多采用监督学习的方式自动识别物品类别,而在真实工矿场景下,异常样本稀缺,易导致建模数据集存在严重的样本分布不平衡且显著特征丢失的问题。针对上述问题,提出了一种基于双注意力生成对抗网络(DA-GANomaly)的煤流异物智能检测方法。该方法采用半监督学习的方式,仅需要正常样本完成异物检测模型训练,有效解决了因样本分布不平衡造成的识别精度低、鲁棒性差的问题;在Skip-GANomaly的基础上引入双注意力机制,增强了编码器与解码器之间的信息交流,以抑制无关特征和噪声,同时突出有利于区分异常样本的感兴趣特征,进一步提高模型分类的准确性。实验结果表明:DA-GANomaly模型的分类精确率为79.5%,召回率为83.2%,精确率-召回率曲线下面积(AUPRC)为85.1%;与AnoGAN等5种经典异常检测模型相比,DA-GANomaly模型的综合性能最佳。

基于状态精细化长短期记忆和注意力机制的社交生成对抗网络用于行人轨迹预测

针对当前行人轨迹预测研究仅考虑影响行人交互因素的问题,基于状态精细化长短期记忆(SR-LSTM)和注意力机制提出一种用于行人轨迹预测的社交生成对抗网络(SRA-SIGAN)模型,利用生成对抗网络(GAN)学习获得目标行人的运动规律。首先,使用SR-LSTM作为位置编码器提取运动意图信息;其次,通过设置速度注意力机制合理地为同一场景中的行人分配影响力,以更好地处理行人的交互;最后,由解码器生成预测的未来轨迹。在多个公开数据集上的测试实验结果表明,SRA-SIGAN模型的总体表现良好。特别是在Zara1数据集上,与SR-LSTM模型相比,SRA-SIGAN模型的平均位移误差(ADE)和最终位移误差(FDE)分别减小了20.0%和10.5%;与社交生成对抗网络(SIGAN)模型相比,SRA-SIGAN的ADE和FDE分别下降了31.7%和24.4%。

一种基于自注意力机制的文本图像生成对抗网络

图像自动生成一直以来都是计算机视觉领域的一项重要挑战,其中的文本到图像的生成更是图像生成领域的重要分支。随着深度学习技术迅猛发展,生成对抗网络的出现使得图像生成领域焕发生机,借助生成对抗网络能够生成较为生动且多样的图像。本文将自注意力机制引入生成对抗网络,提出GAN-SelfAtt以提升生成图像的质量。同时,使用WGAN、WGAN-GP 2种生成对抗网络框架对GAN-SelfAtt进行实现。实验结果表明,自注意力机制的引入能够提高生成图像的清晰度,这归功于自注意力机制弥补了卷积运算中只能计算局部像素区域内的相关性的缺陷。除此之外,GAN-SelfAtt在训练时有着更好的稳定性,避免了原始生成对抗网络中的模式坍塌问题。

基于双阶段多尺度生成对抗网络的图像复原方法

针对人脸图像复原任务中对图像尺度信息利用不足和眼镜结构复原错误的问题,提出一种基于双阶段多尺度生成对抗网络复原模型。该模型第1阶段引入改进损失的U-Net粗重构网络,利用跳连接减少原始图像信息的丢失,融合3种不同的损失函数提高生成器的重构能力,采用双判别器考虑全局信息和局部信息,并提出一种混合域注意力机制用于关注图像的空间和通道信息。第2阶段的精修复网络构建了全新的特征增强模块,增强网络对细节信息的提取能力和对结构的表达能力,引入相对判别器,用于关注生成样本与真实样本之间的相对真实性,提高了生成质量和训练稳定性。实验结果表明,该方法能够复原各类图像缺失的情况,并能够有效复原佩戴眼镜的人脸图像,与其他方法相比,该方法的峰值信噪比、结构相似性和感知相似度评估等指标分别提升了3.81%、2.65%和0.45%。

注意力和生成对抗网络融合的图像超分辨率重建

针对生成对抗网络训练过程中超分辨率重建图像边缘细节模糊的问题,提出注意力和生成对抗网络相融合改进网络.通过在生成对抗网络中加入注意力模块,减少对深层网络的依赖,降低模型的深度.加入残差模块进行密集连接,减少网络参数的个数,提取出更丰富的图像特征,提高计算效率.在生成器损失函数中增加纹理损失和感知损失,纹理损失用于增强局部信息的匹配度,感知损失在激活层之前利用特征信息获得更详细的特征.实验结果表明,与双三次、SRCNN、VDSR和SRGAN主流算法对比,改进后的生成对抗网络峰值信噪比提高了0.45db,结构相似度增加了0.02,增强了重建图像的纹理细节.