基于双通道卷积注意力网络的语音增强方法

传统的单通道网络模型因表征能力有限,无法充分提取语音深层特征,导致模型的语音增强效果不明显。鉴于此,提出一种双通道卷积注意力网络的语音增强方法。首先,使用卷积神经网络和长短时记忆网络构建并行的双通道学习模块,结合两种不同神经网络的优势,充分挖掘语音的深层特征;其次,在两个通道中分别添加注意力模块,依照关注度对通道的输出特征进行加权,达到强调有益信息的目的;最后,将两个通道的输出进行融合得到增强特征。结果表明,在低信噪比和非平稳噪声环境中,包含双通道结构和注意力模块的模型,其增强效果明显优于其他对比模型,有效提高了增强语音的质量和可懂度,验证了所提模型的可行性。

结合金字塔Transformer与浅层CNN的变电站图像篡改检测

目的 变电站图像拼接篡改是电力系统的一大安全隐患,针对篡改图像背景复杂、篡改内容尺度不一造成的误检漏检问题以及相关研究较少,本文提出一种面向变电站的拼接篡改图像的双通道检测模型。方法 两通道均采用深度学习方法自适应提取篡改图像和残差图像的特征,其中篡改图像包含丰富的色彩特征和内容信息,残差图像重点凸显了篡改区域的边缘,有效应对了篡改图像多样性导致的篡改特征提取困难问题;将特征金字塔结构Transformer通道作为网络主分支,通过全局交互机制获取图像全局信息,建立关键点之间的联系,使模型具备良好的泛化性和多尺度特征处理能力;引入浅层卷积神经网络(convolutional neural network, CNN)通道作为辅助分支,着重提取篡改区域的边缘特征,使模型在整体轮廓上更容易定位篡改区域。结果 实验在自制变电站拼接篡改数据集(self-made substation splicing tampered dataset, SSSTD)、CASIA(Chinese Academy of Sciences Institute of Automation dataset)和NIST16(National Institute of Standards and Technology 16)上与4种同类型方法进行比较。定量上看,在SSSTD数据集中,本文模型相对性能第2的模型在精确率、召回率、F1和平均精度上分别提高了0.12%、2.17%、1.24%和7.71%;在CASIA和NIST16数据集中,本文模型也取得了最好成绩。定性上看,所提模型减少了误检和漏检,同时定位精度更高。结论 本文提出的双通道拼接篡改检测模型结合了Transformer和CNN在图像篡改检测方面的优势,提高了模型的检测精度,适用于复杂变电站场景下的篡改目标检测。

改进的双通道自适应PCNN和NSST的遥感图像融合

遥感图像融合作为一种整合多光谱和全色图像所包含信息的有效方法,在国土空间规划和灾情检测等应用领域已成为一种强大的技术。针对非下采样剪切波变换(NSST)域的融合策略进行研究,提出一种新的NSST域遥感图像融合方法。首先对源图像进行NSST,将其分解为低频系数和多方向的高频子带;然后,引入基于平均谱半径(MSR)的图像特征加权机制,将能量属性和改进的拉普拉斯能量和进行加权并应用于低频系数融合,以解决能量保存和细节提取问题;其次,开发一种改进的双通道脉冲耦合神经网络,并结合由方向信息确定权重的加权自适应方法来对高频子带进行融合;最后,利用融合后的低频系数和高频子带进行重构,得到融合后的图像。通过GF-2、GeoEye和WorldView-3这3种不同分辨率的共48组卫星影像验证了该方法的有效性。与5种融合方法的对比实验表明,该方法在视觉感知和定量评价指标方面都能取得较好的效果。

结合双通道WGAN-GP的多角度人脸表情识别算法研究

针对传统算法对多角度人脸表情识别效果不佳、偏转角下生成的人脸正面化图像质量低等问题,提出了一种结合双通道WGAN-GP的多角度人脸表情识别算法。传统模型仅利用侧脸特征对多角度人脸进行表情识别,特征差异小导致识别精度低。因此,引入生成对抗网络对人脸进行转正,消除姿态角的影响。为了使模型稳定训练的同时提升人脸生成质量,以WGAN-GP作为基础网络,并将其改进为双通道结构,融合五官特征及人脸全局特征来进行正面化生成。最后,构建轻量级网络MobileNetV3对生成出的正面人脸表情图像进行识别,保证分类精度并且大幅减小参数运算量。实验结果表明,所提算法在任意角度下,都能较好地复原出正面化人脸表情图像,提高了多角度人脸表情的识别率。