基于多尺度级联注意网络的肺实质分割

针对肺实质分割任务中不同尺度特征的全局上下文信息利用率低、分割精度低、分割细节模糊等问题,提出一种多尺度级联注意网络(multiscale cascaded attention networks,MCANet)。该网络主要由多尺度特征提取网络(multi-scale feature extraction network,MSFENet)、多尺度注意力引导模块(multi-scale attention guidance module,MSAG)、解码特征整合器(decoding feature integrator,DFI)组成。首先,设计MSFENet以提高特征信息在不同通道维度上的空间交互能力,在采样过程中最大限度地保留图像的关键特征,丰富全局上下文信息。然后,设计MSAG提高模型在解码过程中对多尺度特征信息的利用率,并最大限度地融合两种注意力机制的优势。最后设计DFI,重新整合解码器生成的解码特征,以提高模型对边缘信息的分割性能。在LUNA16数据集上对模型性能进行实验验证,得到了0.993的Dice和3.864的HD,实验结果证明了MCANet与其他主流医学分割模型相比有更优异的分割性能,能更准确地分割肺实质。

融合动态图表示和自注意力机制的级联预测模型

传统的级联预测模型不考虑信息传播过程中的动态性且极大依赖于人工标记特征,推广性差,预测准确性低。为此,该文提出一种融合动态图表示和自注意力机制的级联预测模型(DySatCas)。该模型采用端到端的方式,避免了人工标记特征造成级联图表示困难的问题;通过子图采样捕获级联图的动态演化过程,引入自注意力机制,更好地融合在观测窗口中学到的信息级联图的动态结构变化和时序特征,为网络合理地分配权重值,减少了信息的损失,提升了预测性能。实验结果表明,DySatCas与现有的基线预测模型相比,预测准确性有明显提升。

面向遥感图像检索的级联池化自注意力研究

高分辨率遥感图像检索中,由于图像内容复杂,细节信息丰富,以致通过卷积神经网络提取的特征难以有效表达图像的显著信息。针对该问题,提出一种基于级联池化的自注意力模块,用来提高卷积神经网络的特征表达。首先,设计了级联池化自注意力模块,自注意力在建立语义依赖关系的基础上,可以学习图像关键的显著特征,级联池化是在小区域最大池化的基础上再进行均值池化,将其用于自注意力模块,能够在关注图像显著信息的同时保留图像重要的细节信息,进而增强特征的判别能力。然后,将级联池化自注意力模块嵌入到卷积神经网络中,进行特征的优化和提取。最后,为了进一步提高检索效率,采用监督核哈希对提取的特征进行降维,并将得到的低维哈希码用于遥感图像检索。在UC Merced、AID和NWPU-RESISC45数据集上的实验结果表明,本文方法能够有效提高检索性能。

基于U-Net多尺度自校准注意力视网膜分割算法

针对视网膜细小血管分割精度低的问题,提出一种融合可伸缩级联模块、Transformer和自校准注意力的改进U-Net算法以提高细小血管分割精度。首先在编码阶段利用可伸缩级联模块,先行学习复杂多变的视网膜血管拓扑结构。然后在解码阶段提出一种自校准注意力机制,利用多尺度挤压激励模块,自适应对特征图通道和空间之间特征重要性进行校准,增强目标区域特征响应,抑制背景噪声。最后使用Transformer特征提取块,提高特征空间映射能力。基于DRIVE和CHASEDB1数据集的实验结果表明,所提算法准确率分别为96.49%和96.67%,灵敏度分别为83.75%和83.30%,特异性分别为98.28%和98.01%,AUC分别为0.987 1和0.987 2,所提算法的整体性能优于现有算法,各模块能够有效提高细小血管分割能力。

基于图注意力网络的信息级联外源因素建模研究

现有的信息级联预测方法忽略了外源因素对传播级联演化过程的影响以及个体在外源因素影响下的行为偏好,同时对底层的社交网络图结构信息的分析效果欠佳。为解决上述问题,该文提出基于图注意力网络的信息传播外源因素建模方法,利用图注意力机制提取社交图的结构信息,通过卷积神经网络对传播级联的时序信息进行分析,从而捕获外源因素的影响,利用循环神经网络对传播路径进行建模,最后在考虑到个体受外源因素的影响程度后进行级联预测。在Twitter、Douban和Memetracker三个真实数据集上的实验结果表明,相比于同类工作,该文提出的级联预测模型的性能较优。

深度视频修复篡改的被动取证研究

深度视频修复技术就是利用深度学习技术,对视频中的缺失区域进行补全或移除特定目标对象。它也可用于合成篡改视频,其篡改后的视频很难通过肉眼辨别真假,尤其是一些恶意修复的视频在社交媒体上传播时,容易造成负面的社会舆论。目前,针对深度视频修复篡改的被动检测技术起步较晚,尽管它已经得到一些关注,但在研究的深度和广度上还远远不够。因此,本文提出一种基于级联Conv GRU和八方向局部注意力的被动取证技术,从时空域角度实现对深度修复篡改区域的定位检测。首先,为了提取修复区域的更多特征,RGB帧和错误级分析帧ELA平行输入编码器中,通过通道特征级融合,生成不同尺度的多模态特征。其次,在解码器部分,使用编码器生成的多尺度特征与串联的Conv GRU进行通道级融合来捕捉视频帧间的时域不连续性。最后,在编码器的最后一级RGB特征后,引入八方向局部注意力模块,该模块通过八个方向来关注像素的邻域信息,捕捉修复区域像素间的异常。实验中,本文使用了VI、OP、DSTT和FGVC四种最新的深度视频修复方法与已有的深度视频修复篡改检测方法HPF和VIDNet进行了对比,性能优于HPF且在编码器参数仅VIDNet的五分之一的情况下获得与VIDNet可比的性能。结果表明,本文所提方法利用多尺度双模态特征和引入的八方向局部注意力模块来关注像素间的相关性,使用Conv GRU捕捉时域异常,实现像素级的篡改区域定位,获得精准的定位效果。

混合双注意力机制生成对抗网络的图像修复模型

目的图像修复是指用合理的内容来填补图像缺失或损坏的部分。尽管生成对抗网络(generative adversarial network,GAN)取得了巨大的进步,但当缺失区域很大时,现有的大多数方法仍然会产生扭曲的结构和模糊的纹理。其中一个主要原因是卷积操作的局域性,它不考虑全局或远距离结构信息,只是扩大了局部感受野。方法为了克服上述问题,提出了一种新的图像修复网络,即混合注意力生成对抗网络(hybrid dual attention generative adversarial network,HDA-GAN),它可以同时捕获全局结构信息和局部细节纹理。具体地,HDA-GAN将两种级联的通道注意力传播模块和级联的自注意力传播模块集成到网络的不同层中。对于级联的通道注意力传播模块,将多个多尺度通道注意力块级联在网络的高层,用于学习从低级细节到高级语义的特征。对于级联的自注意力传播模块,将多个基于分块的自注意力块级联在网络的中低层,以便在保留更多的细节的同时捕获远程依赖关系。级联模块将多个相同的注意力块堆叠成不同的层,能够增强局部纹理传播到全局结构。结果本文采用客观评价指标:均方差(mean squared error,MSE)、峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性指数(structural similarity index,SSIM)在Paris Street View数据集和CelebA-HQ(CelebA-high quality)数据集上进行了大量实验。定量比较中,HDA-GAN在Paris Street View数据集上相比于Edge-LBAM(edge-guided learnable bidirectional attention maps)方法,在掩码不同的比例上,PSNR提升了1.28 dB、1.13 dB、0.93 dB和0.80 dB,SSIM分别提升了5.2%、8.2%、10.6%和13.1%。同样地,在CelebA-HQ数据集上相比于AOT-GAN(aggregated contextual transformations generative adversarial network)方法,在掩码不同的比例上,MAE分别降低了2.2%、5.4%、11.1%、18.5%和28.1%,PSNR分别提升了0.93 dB、0.68 dB、0.73 dB、0.84 dB和0.74 dB。通过可视化实验可以明显观察到修复效果优于以上方法。结论本文提出的图像修复方法,充分发挥了深度学习模型进行特征学习和图像生成的优点,使得修复图像缺失或损坏的部分更加准确。

多尺度密集注意力网络用于视网膜血管分割

针对视网膜血管分割中有标签图像数据有限、血管结构复杂尺度不一且易受病变区域干扰等问题,提出一种多尺度密集注意力网络用于视网膜血管分割.首先,以U-Net架构为基础,引入并行空间和通道挤压激励注意力密集块(scSE-DB)代替传统卷积层,加强特征传播能力,实现了对特征信息的双重校准,使模型能更好地识别血管像素;其次,在网络底端嵌入级联空洞卷积模块,以捕获多尺度血管特征信息,提升网络获取深层语义特征的能力;最后,在公共数据集DRIVE、CHASE_DB1和STARE上进行实验,所提网络的准确率分别为96.50%、96.62%和96.75%,灵敏度分别为84.17%、83.34%和80.39%,特异性分别为98.22%、97.95%和98.67%.所提网络的整体分割性能优于现有多数先进算法.

一种面向室内场景的语义分割网络

现有RGB-D语义分割方法难以充分地融合深度信息来实现对复杂场景的语义分割,为了能更精确地在室内场景RGB图中进行识别内部物体,提出一种基于通道注意力机制的非对称三分支结构型卷积网络语义分割模型。该方法能选择性地从RGB图和深度图像中收集特征。先构建了一个具有三个并行分支的体系结构,并添加了三个互补的注意模块。且运用了双向跨模块特征传播策略,不仅可以保留原始RGB图像和深度图像的特征,还能充分利用融合分支的深度特征。在两个室内场景数据集(NYUDv2数据集和SUN-RGBD数据集)进行了对照实验和消融研究。结果表明,所提出的模型与目前最好的表现方法注意力互补网络(ACNet)对比下,像素精度、平均像素精度、平均交并比分别提高了0.9%、1.3%、1.7%,在镜子、书本、箱子等小物体的语义分割交并比指标提高了7.2%、9.6%、11.2%。验证了提出的模型在处理室内场景具更强的适用性。

面向超分辨率重建的层次间局部特征增强网络

基于卷积神经网络的超分辨率重建模型以单项传播为主,层次越靠后感知信息的能力越微弱,导致层次间局部特征部分丢失,难以实质提升网络的特征表达能力。针对此问题,提出层次间局部特征增强网络。该方法由级联残差模块、层次间特征增强块和特征感知注意力机制组成。级联残差模块通过有效残差连接增加对残差分支信息的利用;层次间特征增强块提取不同深度特征的依赖关系,自适应调整中间层特征权值增强捕获关键信息的能力;特征感知注意力机制采用方向感知和位置判断的方式准确定位和识别感兴趣对象。多项标准数据集的实验结果表明,该方法能改善超分辨率的视觉重建效果,整体性能优于现有方法。