基于多路信息聚合协同解码的单通道语音增强

为了改善基于卷积编解码架构的单通道语音增强网络对语音声学特征提取不充分、解码特征丢失严重的问题,提出一种基于多路信息聚合协同解码的单通道语音增强网络MIACD,通过双路编码器充分提取融入了语音自监督学习(SSL)表征的幅度谱和复数谱特征,由4层Conformer分别从时间和频率维度对提取特征建模,采用残差连接将双路编码器提取的语音幅度、复数特征引入三路信息聚合解码器,并利用所提通道-时频注意力(CTF-Attention)机制根据语音能量分布情况调节解码器中聚合信息,有效缓解解码时可用声学信息缺失严重的问题。在公开数据集Voice Bank DEMAND上的实验结果表明,与用于单通道语音增强的协作学习框架(GaGNet)相比,MIACD在客观评价指标宽带感知评估语音质量(WB-PESQ)上提升了5.1%,短时客观可懂度(STOI)达到96.7%,验证所提方法可充分利用语音信息重构信号,有效抑制噪声并提升语音可理解性。

基于编解码机制的水下图像语义分割

随着水下资源的开发,深度学习在水资源探索和开发领域应用越来越广泛。在水下原始图像质量低下的情况下,传统的语义分割技术对水下目标分割边界模糊、定位不准确、漏检和误检的情况经常发生。论文针对上述问题,提出了一种专门应用于水下图像的语义分割方法。首先基于多空间转换对原始水下图像进行增强处理。其次通过密集连接的混合空洞卷积在扩大感受野的同时消除多层空洞卷积带来的“gridding issue”问题,然后设计级联空洞卷积空间金字塔池化模块来整合不同尺度的边界特征,丰富目标细节信息。最后,采用上下文信息聚合机制将浅层网络和深层网络的特征进行融合以提取丰富的上下文信息。实验证明论文提出的方法相比最先进的语义分割方法对水下图像的分割效果更好。

上下文信息多样聚合的图像修复算法

为解决现有算法修复大面积、不规则语义缺失图像时存在结构扭曲和纹理模糊的缺陷,提出了一种基于上下文信息的多样聚合图像修复算法。首先,用编码器提取待修复图像的信息,估计缺失内容,经纹理信息生成模块融合来自各种感受野的上下文信息,增强缺失区域的结构与纹理信息;然后,经解码器恢复原始图像特征;最后,使用掩码匹配鉴别器对生成图像进行鉴别训练,结合对抗损失、重建损失、感知损失和风格损失共同优化模型,促进生成器合成清晰的纹理。在公开数据集上,对所提算法进行训练和测试,实验结果表明,修复随机不规则大面积语义缺失图像时,所提算法可得到比对比算法更清晰合理的结构和纹理细节,其峰值信噪比和结构相似度等客观指标均优于对比算法。