基于密集多尺度自注意力变换网络的伪装对象分割方法

为了充分地发挥深度自注意力变换网络在伪装对象分割任务中的潜力,提出一种基于密集多尺度自注意力变换网络的伪装对象分割方法,包含双分支可分离密集多尺度特征提取和快速注意力诱导的跨级交互融合2个模块.首先以自注意力变换网络作为骨干特征提取器获取各级特征;然后将提取的特征馈送到双分支可分离密集多尺度特征提取模块,在局部分支和全局分支中,利用密集递进相连的深度可分离卷积块提取丰富的多尺度上下文特征;最后使用快速注意力诱导的跨级交互融合模块融合各级特征,并利用每级融合特征预测伪装映射,通过深度监督让各级特征在空间上保持高度一致性,尽可能地集中注意力于伪装特征而避免背景噪声的干扰.在CHAMELEON,CAMO,COD10K和NC4K这4个基准数据集上,与其他28种主流模型进行定性可视化对比,以及针对PR曲线、S值、F值、E值及MAE这5种评价指标的定量对比实验结果表明,所提出的基于密集多尺度自注意力变换网络是一种有效的伪装对象分割模型.

融合图像方法的半实时轴承故障诊断方法

轴承在高负荷的环境下长时间运转经常会发生故障,造成巨大损失.若能在故障发生前期进行准确感知,则可以在很大程度上减少损失.通过分析轴承故障问题的特点,提出一种半实时的高准确率诊断方法,使用双路宽卷积核深度卷积网络(deep convolutional neural networks with double paths and wider kernels,DWDCNN)作为实时诊断算法,在结果出现异常或轴承处于高噪声环境下的时候对轴承的振动数据使用短时傅里叶变换(short time Fourier transform,STFT),将其转换为图像,再使用轻型多尺度胶囊网络(smaller inception capsule net,SICN)进行二次诊断.使用该算法与现有其他算法在凯斯西储大学(Case Western Reserve University,CWRU)数据集和添加不同强度噪声后的CWRU数据集上进行实验,对准确性和计算效率进行对比.结果显示DWDCNN模型使用0.12 ms即可完成一次预测,且在SNR=−4 dB的条件下达到80.07%的准确率,而SICN模型虽然计算时间较长,但是可以在SNR=−4 dB的条件下达到95.00%的准确率.

基于金字塔特征与边缘优化的显著性对象检测

针对图像显著性对象检测领域中多尺度特征提取不充分、对象边缘模糊等问题,提出了一个端到端的基于注意力嵌入的金字塔特征以及渐进边缘优化的显著性对象检测模型。首先,设计了由多个扩张卷积构成的注意力嵌入的密集空洞金字塔模块(AEDAPM),在不减小特征分辨率的前提下,得到丰富且有效的多级多尺度特征;其次,为了解决显著性对象边缘模糊的问题,提出了渐进边缘优化模块(SEOM),在特征恢复分辨率的过程中逐步补充空间细节信息,使模型检测出的显著对象能够拥有清晰的边缘轮廓。在DUTS-TE、ECSSD、DUT-OMRON、HKU-IS、PASCAL-S 5个显著性领域公开的数据集上与其他12种已有的先进方法在3个常用指标下进行了比较,结果表明:所提方法能够得到更加准确、边缘更加清晰的显著性结果。此外,自对比实验也充分证明了提出的注意力嵌入的密集空洞金字塔模块和渐进边缘优化模块的有效性。

基于自判别循环生成对抗网络的人脸图像翻译

人脸跨域翻译是将人脸图像从一个图像域映射到另一个图像域的过程,常见的人脸图像翻译任务包括人脸照片–素描、人脸照片–线条画跨域翻译等,可以广泛应用于现实场景,如协助刑侦、电影制作、数字娱乐.但是成对的人脸图像数据有限,且不同域之间的颜色、纹理差异较大,导致人脸图像跨域翻译仍面临着巨大挑战.现有的方法通常会产生模糊、伪影、结构失真等问题,导致较差的视觉效果.为解决这一问题,我们提出了一个自判别循环生成对抗网络,其中,生成器部分采用编码器–解码器结构,生成器对应的判别器为翻译方向相反的编码器,通过自判别的形式,使编码器(即判别器)巧妙地融合了“真/假”语义判别能力与对像素改变的敏感性,从而增强了模型的稳健性和泛化能力.其次,我们提出了一个新颖的全向像素梯度损失函数,设计的卷积核计算了每个像素周围每个方向的梯度来提取图像的梯度信息,通过约束生成图像与对应真实图像的梯度信息保持一致,从而激励模型有效地学习像素间连续变化的模式,并且该损失函数可以灵活地应用于其他生成模型以提升性能.大量的实验表明本文提出的框架能够在公开的成对的人脸照片–素描数据集(CUFS,CUFSF)以及人脸照片–线条画数据集(APDrawing)上取得优异的结果.此外,通过泛化能力验证实验,我们进一步展示了模型在真实场景数据上的强泛化能力,以及自判别循环生成对抗网络结构在非成对人脸数据集上的出色性能.

深度聚类注意力机制下的显著对象检测

目的为了得到精确的显著对象分割结果,基于深度学习的方法大多引入注意力机制进行特征加权,以抑制噪声和冗余信息,但是对注意力机制的建模过程粗糙,并将所有特征均等处理,无法显式学习不同通道以及不同空间区域的全局重要性。为此,本文提出一种基于深度聚类注意力机制(deep cluster attention,DCA)的显著对象检测算法DCANet(DCA network),以更好地建模特征级别的像素上下文关联。方法DCA显式地将特征图分别在通道和空间上进行区域划分,即将特征聚类分为前景敏感区和背景敏感区。然后在类内执行一般性的逐像素注意力加权,并在类间进一步执行语义级注意力加权。DCA的思想清晰易懂,参数量少,可以便捷地部署到任意显著性检测网络中。结果在6个数据集上与19种方法的对比实验验证了DCA对得到精细显著对象分割掩码的有效性。在各项评价指标上,部署DCA之后的模型效果都得到了提升。在ECSSD(extended cornplex scene saliency dataset)数据集上,DCANet的性能比第2名在F值上提升了0.9%;在DUT-OMRON(Dalian University of Technology and OMRON Corporation)数据集中,DCANet的性能比第2名在F值上提升了0.5%,平均绝对误差(mean absolute error,MAE)降低了3.2%;在HKU-IS数据集上,DCANet的性能比第2名在F值上提升了0.3%,MAE降低了2.8%;在PASCAL(pattern analysis,statistical modeling and computational learning)-S(subset)数据集上,DCANet的性能则比第2名在F值上提升了0.8%,MAE降低了4.2%。结论本文提出的深度聚类注意力机制通过细粒度的通道划分和空间区域划分,有效地增强了前景敏感类的全局显著得分。与现有的注意力机制相比,DCA思想清晰、效果明显、部署简单,同时也为一般性的注意力机制研究提供了新的可行的研究方向。