融合信息扰动与特征解耦的单样本语音转换

单样本语音转换的特性是利用单条目标说话人的语音样本即可实现身份的转换,但由于声学特征呈现复杂的相互作用和动态变化,现有方法难以充分将单样本语音中的说话人音色与其他声学特征解耦,导致转换音频在听觉上仍与源说话人的音色特征相似,存在说话人音色泄露情况。为此提出一种融合信息扰动与特征解耦的单样本语音转换模型,即IPFD-VC模型。首先,引入信息扰动模块对语音信号进行三次扰动操作,去除输入内容和韵律编码器中的冗余信息;其次,将处理后的语音信号送入各编码器,并结合最小化互信息策略进一步解耦声学特征,降低不同特征与说话人音色特征的相关性;最后通过解码器及声码器输出转换音频。实验结果表明:IPFD-VC模型转换音频的语音自然度和说话人相似度分别达到3.72和3.68,与目前先进的UUVC模型相比,梅尔倒谱失真降低0.26 dB。该模型能够有效对声学特征进行解耦,捕获目标说话人音色特征,同时保持源语言内容和韵律变化,降低说话人音色泄露风险。

基于双阶段特征解耦网络的单幅图像去雨方法

针对现有的单幅图像去雨方法无法有效地平衡背景图像细节恢复与有雨分量去除问题,提出一种基于双阶段特征解耦网络的单幅图像去雨方法,采用渐进式的学习方式从粗到细分阶段进行单幅图像去雨.首先构建压缩激励残差模块,实现背景图像与有雨分量的初步分离;然后设计全局特征融合模块,其中特别引入特征解耦模块分离有雨分量和背景图像的特征,实现细粒度的图像去雨;最后利用重构损失、结构相似损失、边缘感知损失和纹理一致性损失构成的复合损失函数训练网络,实现高质量的无雨图像重构.实验结果表明,在Test100合成雨图数据集上,所提方法峰值信噪比为25.57dB,结构相似性为0.89;在100幅真实雨图上,所提方法的自然图像质量评估器为3.53,无参考图像空间质量评估器为20.16;在去雨后的RefineNet目标分割任务中,平均交并比为29.41%,平均像素精度为70.06%;视觉效果上,该方法能保留更多的背景图像特征,有效地辅助下游的目标分割任务的开展.

基于局部和全局特征解耦的图像去噪网络

针对当前基于Transformer的图像去噪算法侧重于捕获图像的全局特征,而忽视局部特征对于恢复图像细节关键作用的问题,提出一种基于局部和全局特征解耦的图像去噪网络。该网络包含2个基于混合Transformer模块(HTB)的多尺度分支和1个基于卷积神经网络(CNN)的单尺度分支,旨在将HTB强大的全局建模能力与CNN的局部建模优势有机结合,生成上下文信息丰富且空间细节准确的输出。HTB采用自注意力机制自适应地对空间和通道维度的依赖关系建模,以激活范围更广的输入像素进行重建。鉴于不同分支间可能存在的信息冲突,设计特征传递模块,通过跨分支传递全局特征并抑制低频信息,从而确保各分支间的协同作用。实验结果表明,在真实世界图像数据集SIDD上,与基于Transformer的去噪网络Uformer相比,所提网络的峰值信噪比(PSNR)提高了0.09 dB,结构相似度(SSIM)提高了0.001;在合成图像数据集Urban100上,与多阶段去噪网络MSPNet(Multi-Stage Progressive denoising Network)相比,所提网络的平均PSNR提高了0.41 dB。可见,所提网络能有效去除图像噪声,并重建出更精细的纹理细节。

基于注意力特征解耦的跨年龄身份成员推理

生成对抗网络(GANs)模型可以生成高分辨率的“不存在”的物体真实图像,近期被广泛应用于各种人工合成数据,尤其是人脸图像生成领域。然而,由于基于该模型的人脸生成器通常需要根据不同身份高度敏感的面部图像进行训练,其中存在潜在数据泄露使得攻击者能够对身份成员关系进行推断的问题。为此,首先设计对查询身份所获取样本与其实际参与训练样本之间存在巨大差异时的身份成员推理攻击,这些差异会导致基于样本推理身份成员关系的性能急剧下降;其次,在此基础上设计基于各身份解耦表征的重建误差攻击方案,在最大化消除不同样本间背景姿势等因素影响的同时,消除巨大年龄跨度导致的表征差异,进一步提高了攻击性能;最后,基于3个代表性的人脸数据集在3个主流GAN架构上训练生成模型并进行攻击,实验结果表明,在各种攻击场景下,此攻击方案较对比方法AUCROC值平均提高0.2。

基于特征解耦的少样本遥感飞机图像增广算法

基于深度学习的遥感飞机图像分类模型依赖多元化、均衡化的数据集进行训练,但由于飞机目标的高动态特性导致其大规模数据采集困难,现有的飞机细粒度数据集往往存在高质量数据有限、样本不均衡、难以覆盖全部场景的问题。图像生成技术作为数据增广的一种方式在提高数据规模方面发挥了重要作用,但传统的图像生成算法依赖大量样本训练,在少样本条件下的遥感细粒度图像生成问题亟待解决。因此,针对飞机目标图像类间相似度高、类内差异性大的特性提出了一种基于特征解耦的小样本图像生成方法FD-VAE,并在FAIR1M-Aircraft和MAR20两个细粒度遥感飞机数据集上进行测试,与多种先进的图像生成方法相比,FD-VAE的生成图像质量评价指标FID和LPIPS有明显改善。一系列定性和定量实验证明了FD-VAE在生成多样性、高质量的飞机细粒度图像方面具有强竞争力。并且,使用FD-VAE增广后数据集训练的ResNet-18分类网络,相比于传统训练方法精度提升2.3个百分点。FD-VAE有效缓解了细粒度飞机图像高质量数据采集困难的问题,并且有助于提升下游深度学习模型的性能上限。

空域和频域特征解耦的红外与可见光图像融合

现有的红外与可见光图像融合算法大都在空间域上进行卷积操作,实现特征提取、特征融合、图像重建。受限于卷积神经网络的局部建模特性,此类方法未能考虑图像的全局上下文信息,从而限制了融合算法的鲁棒性。针对上述问题,受到图像在频域上服从谱卷积定理的全局建模属性的启发,提出了一种基于空域和频域特征解耦的红外与可见光图像融合算法,分别解耦出源图像在空间域和频域中的高低频信息表征,并进行互补交互融合,以提高融合算法的鲁棒性。提出的方法主要由频域解耦分支、空间域解耦分支以及多频谱卷积注意力融合模块三部分构成。首先,频域解耦分支利用频率掩膜解耦出源图像在傅里叶域中的高低频信息表征,得到源图像的全局上下文信息。然后,空间域解耦分支包括两个并行的可逆神经网络模块和轻量级Transformer模块,分别用于解耦出源图像在空间域中的高低频信息表征,得到源图像的局部上下文信息。最后,提出一种多频谱卷积注意力融合模块,实现高低频表征信息的互补交互融合,促使融合图像保留更多的红外显著信息和可见光纹理细节信息。在MSRS、TNO、RoadScene三个数据集上的定性和定量实验表明提出的方法取得了优异的性能。相比2023年提出的DATFusion融合方法,在信息熵、平均梯度、VIF等多个客观评价指标上分别提升13.3%、46.6%、10.3%。

基于特征解耦的SAR图像舰船检测蒸馏

目前,基于深度学习的合成孔径雷达(SAR)舰船目标检测方法受到广泛关注。但因为模型参数量大、运算内存高等问题限制了其实际应用。通过学生网络模仿教师网络,知识蒸馏被视作一种高效的模型压缩方法。然而,大部分的知识蒸馏算法只针对常见的可见光图像任务,将其直接应用到复杂的SAR图像舰船目标检测上性能表现不佳。通过分析,出现上述性能不佳现象有以下两个原因:(1)前景背景面积严重失衡;(2)缺乏对前景和背景像素的关系建模。针对上述问题,提出基于解耦特征的拓扑距离知识蒸馏算法。前景和背景解耦蒸馏可以缓解前景背景失衡问题。通过解耦特征拓扑距离蒸馏,学生网络可以从教师网络学习到前景背景之间的关系,增强对背景噪声鲁棒性。实验结果表明,相比许多蒸馏算法,所提出的算法可以十分有效地提升学生网络在SAR图像舰船目标检测精度。比如,基于ResNet18-C4骨干网络的Faster R-CNN模型在HRSID数据集上AP提升6.85个百分点,从31.81%提升到38.66%。

基于特征解耦和开放性学习的小样本开放集识别

在小样本开放集识别任务中,有效区分闭集和开集样本是一项具有挑战性的任务,尤其在样本稀缺的情况下.现有方法在构造已知类分布边界时存在模糊性,未能很好地实现闭集和开集空间的区分.为了解决这一问题,本文提出了基于特征解耦和开放性学习的小样本开放集识别方法.其目的是通过特征解耦模块,迫使模型解耦类别性特征和开放性特征,从而扩大未知类与已知类之间的差异.为了有效实现特征解耦,引入了开放性学习损失来促进特征的开放性学习.通过结合相似度度量值和反开放性分值作为损失优化对象,更好地引导模型学习到更具区分性的特征表示.实验结果表明,本文方法在公共数据集miniImageNet和tieredImageNet上可以显著提高未知类样本的检测率,同时正确分类已知类别.

特征解耦和实例分割的遥感影像近岸舰船检测

针对光学遥感图像中近岸舰船目标检测的难题,提出了一种基于特征解耦和实例分割的深度学习舰船检测方法。通过自适应特征金字塔自动学习融合多尺度上下文,增强网络提取特征能力;采用边界特征解耦网络,引入边界先验知识,减少舰船紧密排布带来的漏检问题和港口与舰船相似带来的虚警问题,提升了网络检测性能;通过中心点预测对网络结果做进一步分割,进一步提高了舰船检测的精确度。在自建遥感近岸舰船检测数据集上的实验表明,论文方法优于传统的锚框方法,具有更好的检测性能。论文算法有效提高了近岸舰船目标检测的精确度,对复杂背景下近岸舰船的检测具有参考价值。

基于特征解耦表征学习的无监督混合失真图像复原方法

针对真实场景下多种混合失真组合的多任务图像复原,结合生成对抗网络与编码器提出了一种基于无监督对偶学习的图像复原方法.该方法引入特征解耦模块,通过修正基于增益控制的归一化,将不同退化机制的特征表示分配到不同的特征通道中,使得不同退化特征表达相互独立,实现了通道上的特征解耦.同时,为了进一步过滤掉退化机制的特征表示并保持原图像内容信息的细节,利用通道注意力机制实现特征解耦后自适应地选择有用的特征表示,使其适用于真实场景下混合失真组合的图像复原任务.实验结果表明,所提算法在单一退化类型GoPro数据集上对比基于尺度循环网络的算法(scale-recurrent network,SRN),峰值信噪比和结构相似性2项指标值分别提高了0.499 dB和0.044;在混合退化类型DIV2K数据集上对比基于操作选择注意力网络的算法(operation-wise attention network,OWAN),峰值信噪比和结构相似性2项指标值分别提高了0.163 dB和0.015,在实现复原图像的同时,保留了图像的纹理和细节信息.

基于QR-CBA特征解耦框架的日前负荷预测研究

高精度的短期电力负荷预测可以保证电力系统调度决策的准确性、缓解电力供需矛盾、保障电力系统运行的安全。由于短期电力负荷预测受气象、历史信息等因素影响且具有很强不确定性,因此对短期负荷预测进行精准的预测较为困难。为实现对日前电力负荷进行概率密度预测,提出一种基于引入注意力机制的卷积双向长短期记忆分位数回归网络(Convolutional bidirectional long short-term memory network with attention for quantile regression,QR-CBA)特征解耦框架。首先,将输入特征分为4个分支并通过解耦神经网络对其进行训练,以有效提高神经网络的计算效率和预测精度;然后,采用核密度估计(Kernel density estimation,KDE)方法作为后处理技术将预测结果生成为概率密度曲线,以有效量化预测的不确定性。以某公开负荷数据集作为实例进行验证,结果表明,所提方法的日前点预测精度达到了96.884%,与对比预测模型相比精度明显提高,区间预测的连续排名概率得分(Continuous ranked probability score,CRPS)与对比预测模型相比明显降低。以上对比实验结果说明所提预测方法具有更高的预测精度和确定性。

基于知识回顾与特征解耦的目标检测蒸馏

当前的知识蒸馏算法均只在对应层间进行蒸馏,为了解决这一问题,提高知识蒸馏的性能,首先分析了教师模型的低层特征对学生模型高层特征的指导作用,并在此基础上提出了基于知识回顾解耦的目标检测蒸馏方法。该方法首先将学生模型的高层特征与低层特征对齐、融合并区分空间和通道提取注意力,使得学生的高层特征能够渐进式地学到教师的低层和高层知识;随后将前背景解耦,分别蒸馏;最后通过金字塔池化在不同尺度上计算其与教师模型特征的相似度。在不同的目标检测模型上进行了实验,实验表明,提出的方法简单且有效,能够适用于各种不同的目标检测模型。骨干网络为ResNet-50的RetinaNet和FCOS分别在COCO2017数据集上获得了39.8%和42.8%的mAP,比基准提高了2.4%和2.3%。

融合梅尔谱增强与特征解耦的噪声鲁棒语音转换

提出了一种融合梅尔谱增强与特征解耦的噪声鲁棒语音转换模型,即MENR-VC模型。该模型采用3个编码器提取语音内容、基频和说话人身份矢量特征,并引入互信息作为相关性度量指标,通过最小化互信息进行矢量特征解耦,实现对说话人身份的转换。为了改善含噪语音的频谱质量,模型使用深度复数循环卷积网络对含噪梅尔谱进行增强,并将其作为说话人编码器的输入;同时,在训练过程中,引入梅尔谱增强损失函数对模型整体损失函数进行了改进。仿真实验结果表明,与同类最优的噪声鲁棒语音转换方法相比,所提模型得到的转换语音在语音自然度和说话人相似度的平均意见得分方面,分别提高了0.12和0.07。解决了语音转换模型在使用含噪语音进行训练时,会导致深度神经网络训练过程难以收敛,转换语音质量大幅下降的问题。

基于特征解耦控制的压气机失速脉动气压模拟方法

在航空发动机控制系统半物理仿真试验中,通过模拟压气机失速时的高频脉动气压可验证喘振传感器与失稳检测系统的可靠性,从而避免逼喘试验的高成本与高风险。针对当前脉动气压发生器普遍存在的脉动特征耦合问题,提出了一种基于特征解耦控制的压气机失速脉动气压模拟方法。首先介绍了气压模拟系统的总体设计方案;随后建立气压模拟系统的综合模型并通过仿真分析其输入输出特性;基于此,提出一种充放气比例阀和旋转阀的组合控制策略;最后以不同脉动特征的气压为模拟目标,进行多组仿真与试验。结果表明,所设计的阀门组合及特征解耦控制策略可实现脉动频率0~200Hz、脉动幅值比0~0.4及基准压力800kPa范围内的脉动气压动态调节,满足压气机多种失稳模式下的失速压力信号模拟需求。

基于任务关联特征解耦网络的无监督领域自适应图像分类

无监督领域自适应(Unsupervised Domain Adaptation,UDA)旨在帮助模型在跨域分布差异条件下从带标注的源域中学习到知识,以迁移至无标注的目标域。当前先进的域自适应方法主要通过直接对目标域与源域分布对齐来实现,其中特征往往被当作一个整体对象用于开展域间自适应任务,忽略了特征中的任务关联信息(域间不变、域内独特信息)与无关信息(颜色对比度、图像风格)耦合的情况,使得模型难以把握关键的特征信息,从而导致次优化。针对上述问题,提出了一种基于任务关联特征解耦网络的无监督领域自适应分类方法(Task Relevant Feature Separation Network,TRFS),通过对域间风格混合干扰下的特征与原始特征的注意力进行一致性的学习,来帮助网络提炼出与下游任务相关的特征权重,并进一步采用权重差获取任务无关特征权重,而后通过正交函数约束推远任务关联与无关特征,实现特征解耦;设计了任务特征细化解耦层,减轻配对特征与域独特特征混淆的情形,优化模型对分类判别的精度。此外,为了提升伪标签质量,引入基于记忆力银行的领域聚合伪标签生成方法,用于降低伪标签噪声。综合实验结果表明,所设计解耦模块具有良好的即插即用性,能够提升自适应方法的性能;且所提方法相比其他先进的域适应方法具有明显的优势,其中在Office-Home数据集上达到了73.6%的分类精度。

计及气象累积效应的特征解耦峰荷预测模型

夏季峰荷是电力部门的关注焦点,温度累积效应对于夏季峰荷预测具有重要影响。为此,提出一种计及气象累积效应的特征解耦峰荷预测模型。建立具有3个输入分支的深度神经网络模型,从结构上对输入特征实现解耦,称为特征解耦模型。3个分支分别以时间特征、负荷特征、气象特征为输入,其中负荷分支、气象分支应用了长短期记忆(LSTM)网络隐藏层并基于LSTM网络的时序处理能力能对负荷及气象序列进行处理来反映累积效应,进而应用于峰荷预测。最后,通过实例分析,与温度修正等常规方法进行对比,验证了特征解耦模型更适合于计及气象累积效应的峰荷预测。

基于特征解耦的无监督水下图像增强

水介质的吸收和散射特性致使水下图像存在不同类型的失真,严重影响后续处理的准确性和有效性。目前有监督学习的水下图像增强方法依靠合成的水下配对图像集进行训练,然而由于合成的数据可能无法准确地模拟水下成像的基本物理机制,所以监督学习的方法很难应用于实际的应用场景。该文提出一种基于特征解耦的无监督水下图像增强方法,一方面,考虑获取同一场景下的清晰-非清晰配对数据集难度大且成本高,提出采用循环生成对抗网络将水下图像增强问题转换成风格迁移问题,实现无监督学习;另一方面,结合特征解耦方法分别提取图像的风格特征和结构特征,保证增强前后图像的结构一致性。实验结果表明,该方法可以在非配对数据训练的情况下,能够有效恢复水下图像的颜色和纹理细节。

结合特征解耦和静动态联合图卷积网络的人脸属性识别

现有的人脸属性识别方法或采用属性分组的方式提取特征,或计算属性共现概率构造静态属性关系图.前者学习的属性间互补信息不充足,且无法确定组间属性的相关性和属性间的相关程度;后者在人脸图像出现偶然共现属性对时存在偏差,可能会降低模型的通用性.为解决上述问题,提出一种结合特征解耦和静动态联合图卷积网络的人脸属性识别方法.首先使用深度卷积神经网络ResNet-50提取包含属性表示信息的特征;然后设计特征解耦模块,学习得到每种属性对应的特定特征;最后联合属性关系的静态图和动态图,通过图卷积网络学习属性之间的相关性并使用一维卷积层识别人脸属性.在CelebA和LFWA数据集上进行验证,所提方法的平均准确率分别达到91.85%和88.17%,优于许多已有的方法.

基于改进FairMOT特征解耦的多目标跟踪算法

联合检测和重识别跟踪模型(Joint-Detection-and-Embedding Models, JDE)的两个子任务所需要的特征存在矛盾,通过目标中心点提取重识别特征的方式难以得到遮挡目标的有效特征,这导致在复杂环境下模型提取的目标重识别特征可靠性下降,造成数据关联错误。针对目标检测和重识别任务间的矛盾问题,文中基于FairMOT跟踪算法提出了一种特征解耦模块。该模块使用协调注意力(Coordinate Attention, CA)将骨干网输出的多尺度特征图进行初步解耦,然后以自底向上的方式融合不同分辨率的重识别特征图。为了提取遮挡目标的有效信息,文中提出一种根据目标可视度调整高斯核方差的策略,用于构建目标中心点监督热图,加大训练时对遮挡目标及其周围区域的关注。最后在MOT17数据集上对所提算法进行了测试,实验结果验证了各模块的有效性,表明了算法能够有效应对遮挡,实现稳定跟踪。

基于分层特征注意力解耦的农机轴承故障诊断

鉴于农机设备实际运行中的工况具有时变性,提出一种基于分层特征注意力解耦的农机轴承故障诊断算法。利用长短时记忆神经网络改进的Transformer网络作为主干网络,并按照Transformer的Multi-head机制构造农机轴承故障数据的分层特征集;利用交叉注意力机制挖掘不同层特征间的关联关系,强化农机轴承故障特征的表达能力;借助农机轴承故障诊断多标签将混合特征解耦为多个独立的轴承故障特征集,并利用解耦后的特征预测对应的标签,实现待测农机轴承故障类型的诊断。结果表明,所提出的模型可以实现平均96.58%的识别精度,并且可以细粒度地对多种轴承故障进行诊断。