基于变种注意力的双鉴别器语音增强算法

日常通信以及说话人识别和语音唤醒等领域的前端任务,都需要干净的语音信号以保证准确的语音可懂度和高效的性能.现有的语音增强算法存在模型参数量大、过度关注评价指标而忽视增强语音真假性等问题.针对上述问题,提出一种基于变种注意力的双鉴别器语音增强算法对含噪语音进行时频域增强.含噪语音信号经过短时傅里叶变换和幂律压缩等一系列操作传入生成器,编码器首先使用稠密卷积模块进行特征提取,后经过维度变化分别利用变种注意力获取时域和频域特征,解码器恢复信号的幅度和复数频谱.最终分别利用评价指标和梅尔频谱训练两个同结构但不同输入的鉴别器.实验结果证明:该模型与SE-Conformer相比,语音质量感知、噪声失真测度和综合质量测度分别提升0.15、0.27和0.25.

双路径双鉴别器生成对抗网络的红外与可见光图像融合

针对图像融合算法中存在源图像信息保留不够充分、细节信息不够丰富等问题,提出一种基于双路径双鉴别器生成对抗网络的红外与可见光图像融合方法.在生成器端构建基于源图像差异拼接的梯度路径和对比度路径,提高融合图像的细节信息和对比度;通过多尺度分解提取红外与可见光图像的特征信息,解决单一尺度特征提取不全面的问题;然后将源图像引入双路径密集网络的每一层,在提升特征传递效率的同时可获取更多源图像信息;在鉴别器端采用双鉴别器估计红外与可见光图像的区域分布,避免单鉴别器网络丢失红外图像对比度信息的模态失衡问题;最后构造主辅梯度和主辅强度损失函数,提升网络模型的信息提取能力.与8种主流图像融合方法在TNO数据集、RoadScene数据集和MSRS数据集上的对比实验结果表明,所提方法在4个客观评估指标(平均梯度、空间频率、结构相似性和峰值信噪比)上取得较好的结果.

双鉴别器盲超分重建方法研究

图像超分变率重建方法在公共安全检测、卫星成像、医学和照片恢复等方面有着十分重要的用途。该文对基于生成对抗网络的超分辨率重建方法进行研究,提出一种基于纯合成数据训练的真实世界盲超分算法(RealESRGAN)的UNet3+双鉴别器Real-ESRGAN方法(Double Unet3+Real-ESRGAN, DU3-Real-ESRGAN)。首先,在鉴别器中引入UNet3+结构,从全尺度捕捉细粒度的细节和粗粒度的语义。其次,采用双鉴别器结构,一个鉴别器学习图像纹理细节,另一个鉴别器关注图像边缘,实现图像信息互补。在Set5, Set14, BSD100和Urban100数据集上,与多种基于生成对抗网络的超分重建方法相比,除Set5数据集外,DU3-Real-ESRGAN方法在峰值信噪比(PSNR)、结构相似性(SSIM)和无参图像考评价指标(NIQE)都优于其他方法,产生了更直观逼真的高分辨率图像。

基于双鉴别器策略的空间感知型人群计数算法

人群计数是计算机视觉中的重要研究领域,为了精确计算静态图像或视频帧中的行人数,通常采用回归密度图法用于提高计数精度,然而,由于源域和目标域之间的域移位问题,模型在稀缺标签数据集上的泛化能力不足。文章提出了一种基于双鉴别器策略的空间感知型(spatial awareness of dual discriminator strategy,SADDS)域适应人群计数算法,旨在有效解决图像风格和人头尺度的差异。该算法在DSANET骨干网络VGG16的特征提取过程中融合了分层注意力机制(hierarchicalattentionmechanism,HAM),包括空间注意力机制(spatial attention mechanism,SAM)和全局注意力机制(global attention mechanism,GAM),同时采用全局和局部双鉴别器来减少域移位。通过在公开数据集上的实验,验证了该方法的有效性与优越性。

零度附近蒸发剩余核的双鉴别系统

本文介绍了一套由静电偏转系统,飞行时间谱仪及ΔE-E望远镜所组成的用于重离子核反应零度附近蒸发剩余核的双鉴别和探测系统,其中,使用国产微通道板作为飞行时间谱仪的零时间探测器,时间分辨达200ps。系统用于在束测最,核电荷数分辨好于23,质量数分辨达45。

基于双鉴别器GAN的包装类产品外观设计法

针对传统包装类产品外观设计工作中设计周期较长、设计难度较大以及设计成本相对较高等问题,将双鉴别器GAN应用于包装类产品外观设计工作中。在BicycleGAN的基础上,添加了一个局部鉴别器,并重新构建了相应的损失函数以及目标函数。实验时,输入对象为“边缘图像+原图”的图像对,输出对象为真实性概率排前10的图像。从多样性、PSNR值以及SSIM值3个方面对实验结果进行评估,结果表明:双鉴别器GAN生成的图像不仅拥有较好的多样性,其图像细节质量也有所提高。因此,将双鉴别器GAN应用于包装类产品的外观设计工作是可行的,一方面能够为设计师提供设计灵感,另一方面也节省了人力与物力成本,提高了工作效率。

基于双鉴别器生成对抗网络的单目深度估计方法

针对自监督单目深度估计精度不高的问题,提出一种基于双鉴别器生成对抗网络的自监督单目深度估计方法.该方法利用生成对抗网络在合成视觉上可信的图像方面的优势,进一步提高了自监督单目深度估计的精度.首先,为充分利用重建图像,在Wasserstein生成对抗网络的基础上进行改进,构建了2个鉴别器的结构.双鉴别器对生成器的要求和训练目标更加严苛,避免了由于只在左图像或右图像上引入鉴别器而造成的信息损失.其次,针对该网络的结构,提出了一种局部-全局一致的损失函数,保证了像素的真实性和局部-全局内容的一致性.在KITTI基准测试集中与单目深度估计的相关代表方法进行了比较,实验结果表明,该方法有效地提高了单目深度估计的精度,具有较好的深度估计的性能.

预训练模型特征提取的双对抗磁共振图像融合网络研究

随着多模态医学图像在临床诊疗工作中的普及,建立在时空相关性特性基础上的融合技术得到快速发展,融合后的医学图像不仅可以保留各模态源图像的独有特征,而且能够强化互补信息、便于医生阅片.目前大多数方法采用人工定义约束的策略来实现特征提取和特征融合,这容易导致融合图像中部分有用信息丢失和细节不清晰等问题.为此,提出一种基于预训练模型特征提取的双对抗融合网络实现MR-T1/MR-T2图像的融合.该网络由一个特征提取模块、一个特征融合模块和两个鉴别网络模块组成.由于已配准的多模态医学图像数据集规模较小,无法对特征提取网络进行充分的训练,又因预训练模型具有强大的数据表征能力,故将预先训练的卷积神经网络模型嵌入到特征提取模块以生成特征图.然后,特征融合网络负责融合深度特征并输出融合图像.两个鉴别网络通过对源图像与融合图像进行准确分类,分别与特征融合网络建立对抗关系,最终激励其学习出最优的融合参数.实验结果证明了预训练技术在所提方法中的有效性,同时与现有的6种典型融合方法相比,所提方法融合结果在视觉效果和量化指标方面均取得最优表现.

多路径生成对抗网络的红外与可见光图像融合

生成对抗网络在红外与可见光图像融合领域受到广泛关注,但单路径进行融合容易丢失浅层信息、分支路特征提取融合能力有限。提出一种基于多路径生成对抗网络的红外与可见光图像融合方法。在生成器端,利用源图像与导向滤波结果构建3条输入路径提取更多源图像特征信息,以获得细节更丰富的融合图像;然后,卷积层加入掩码注意力机制模块,提升显著信息的提取效率,引入密集连接和残差连接,在提升特征传递效率的同时可获取更多源图像重要特征信息。在鉴别器端,采用双鉴别器估计红外与可见光图像的区域分布,避免单鉴别器网络丢失对比度信息的模态失衡问题。在TNO数据集上进行了实验,实验结果表明,所提算法在5个客观评估指标上4项取得了最好结果,优于多数主流算法,在主观评估方面,所提算法保留了更多的纹理细节信息,具有更好的视觉效果。

基于改进CycleGAN模型的图像去雾方法

雾天条件下拍摄的图像不够清晰,严重影响到后续计算机视觉任务的完成质量,因此,对雾天拍摄图像进行清晰化处理具有实际意义。现有CycleGAN去雾模型未能充分利用在编码和解码过程中的特征信息,得到的去雾图像质量不够高。生成器通过设计的特征融合模块引入多尺度信息,鉴别器采用网络共享的双鉴别器策略,损失函数使用两种对抗损失并结合改进的循环一致性损失,增强模型去雾性能和图像质量。对比实验和消融实验验证了改进模型的性能。

基于三分支对抗学习和补偿注意力的红外和可见光图像融合

针对现有深度学习图像融合方法依赖卷积提取特征,并未考虑源图像全局特征,融合结果容易产生纹理模糊、对比度低等问题,本文提出一种基于三分支对抗学习和补偿注意力的红外和可见光图像融合方法。首先,生成器网络采用密集块和补偿注意力机制构建局部-全局三分支提取特征信息。然后,利用通道特征和空间特征变化构建补偿注意力机制提取全局信息,更进一步提取红外目标和可见光细节表征。其次,设计聚焦双对抗鉴别器,以确定融合结果和源图像之间的相似分布。最后,选用公开数据集TNO和RoadScene进行实验并与其他9种具有代表性的图像融合方法进行对比,本文提出的方法不仅获得纹理细节更清晰、对比度更好的融合结果,而且客观度量指标优于其他先进方法。

基于双阈值前沿时刻鉴别法的高频脉冲激光测距系统

百千赫兹量级测量重复频率和亚厘米量级测量精度的脉冲激光测距系统是激光测距领域的研究热点之一。分析研究了基于皮秒脉冲激光器的激光测距系统的实现原理和方法,针对激光脉宽极窄的特点,使用双阈值前沿时刻鉴别法和电压比较器输出数字信号的脉宽控制方法,并配合TDC-GPX高精度时间数字转换芯片,达到了设计要求。实验结果表明:测距系统工作稳定可靠,测量重复频率达到500kHz,单次测距精度范围为[4mm,10mm]。

A new reaction system to determine nonlinear chemical fingerprint and its use in Panax ginseng identification method based on double reaction system

A new reaction system to determine nonlinear chemical fingerprint(NCF)and its use in identification method based on double reaction system was researched.Panax ginsengs,such as ginseng,American ginseng and notoginseng were identified by the method.The NCFs of the three samples of Panax ginsengs were determined through two nonlinear chemical systems,namely system 1 consisting of sample components,H2SO4,MnSO4,NaBrO3,acetone and the new system,system 2 consisting of sample components,H2SO4,(NH4)4Ce(SO4)2,NaBrO3 and citric acid.The comparison between the results determined through systems 1 and 2 shows that the speed to determine NCF through system 2 is much faster than that through system 1;for systems 1 and 2,the system similarities of the same kind of samples are≥98.09%and 99.78%,respectively,while those of different kinds of samples are≤63.04%and 86.34%,respectively.The results to identify the kinds of some samples by system similarity pattern show that both the accuracies of identification methods based on single system 1 and 2 are≥95.6%,and the average values are 97.1%and 96.3%,respectively;the accuracy of the method based on double system is≥97.8%,and the average accuracy is 99.3%.The accuracy of the method based on double system is higher than that based on any single system.

改进U-Net3+与跨模态注意力块的医学图像融合

目的针对目前多模态医学图像融合方法深层特征提取能力不足,部分模态特征被忽略的问题,提出了基于U-Net3+与跨模态注意力块的双鉴别器生成对抗网络医学图像融合算法(U-Net3+and cross-modal attention block dual-discriminator generative adversal network,UC-DDGAN)。方法结合U-Net3+可用很少的参数提取深层特征、跨模态注意力块可提取两模态特征的特点,构建UC-DDGAN网络框架。UC-DDGAN包含一个生成器和两个鉴别器,生成器包括特征提取和特征融合。特征提取部分将跨模态注意力块嵌入到U-Net3+下采样提取图像深层特征的路径上,提取跨模态特征与提取深层特征交替进行,得到各层复合特征图,将其进行通道叠加、降维后上采样,输出包含两模态全尺度深层特征的特征图。特征融合部分通过将特征图在通道上进行拼接得到融合图像。双鉴别器分别对不同分布的源图像进行针对性鉴别。损失函数引入梯度损失,将其与像素损失加权优化生成器。结果将UC-DDGAN与5种经典的图像融合方法在美国哈佛医学院公开的脑部疾病图像数据集上进行实验对比,其融合图像在空间频率(spatial frequency,SF)、结构相似性(structural similarity,SSIM)、边缘信息传递因子(degree of edge information,Q^(AB/F))、相关系数(correlation coefficient,CC)和差异相关性(the sum of the correlations of differences,SCD)等指标上均有提高,SF较DDcGAN(dual discriminator generation adversative network)提高了5.87%,SSIM较FusionGAN(fusion generative adversarial network)提高了8%,Q^(AB/F)较FusionGAN提高了12.66%,CC较DDcGAN提高了14.47%,SCD较DDcGAN提高了14.48%。结论UC-DDGAN生成的融合图像具有丰富深层特征和两模态关键特征,其主观视觉效果和客观评价指标均优于对比方法,为临床诊断提供了帮助。