基于高灰度值注意力机制的脑白质高信号分割

脑白质高信号是脑小血管病的常见影像学表现,对脑小血管病患者临床诊断有重要参考价值。脑白质高信号分割是临床诊断的基础工作之一,往往需要极具经验的医师进行手动刻画,极其耗费时间且繁琐。脑白质高信号是脑核磁共振成像T2加权像或者液体衰减反转恢复序列图像(Fluid Attenuated Inversion Recovery,FLAIR)中的高信号影,其灰度值明显高于其它正常的脑部组织。为提高对脑白质高信号区域的关注,根据脑白质高信号的影像学特征,提出一种具有高灰度值注意力机制的网络模型。基于UNet网络,设计并引入高灰度值注意力模块,使网络模型更加关注于图像中灰度值较高的区域;为提高网络模型的特征提取能力,引入残差混合注意力模块。该方法明显地提升了脑白质高信号分割效果,DSC指标和Recall指标分别达到0.8330和0.8870,优于现有算法。消融实验也验证了高灰度值注意力模块和残差混合注意力模块的有效性。本文为基于FLAIR影像的脑白质高信号病灶分割提供了一种新方法,同时验证了传统图像分割方法与深度学习技术相结合的可行性。

基于注意力机制的弱监督动作定位方法

针对弱监督动作定位方法无法直接进行动作定位且定位准确性不高的问题,提出了一种基于注意力机制的弱监督动作定位方法,并设计和实现了一种基于动作前后帧信息和区分函数的动作定位模型。采用条件变分自编码器(CVAE)注意力值生成模型,将生成的帧级注意力值作为伪帧级标签;为了增强帧前后的关联性,改进CVAE注意力值生成模型,加入动作前后帧信息以获取帧级注意力值;采用基于区分函数的注意力值优化模型,对伪帧级标签进行反复训练和优化。在THUMOS14和ActivityNet1.2数据集上进行的实验结果表明,基于动作前后帧信息和区分函数的动作定位模型具有较好的动作定位效果和准确性,相较于未加入动作前后帧信息的模型,动作漏检率减小了11.7%;与AutoLoc、W-TALC、3C-Net等弱监督动作定位模型对比,当交并比(IoU)取值0.5时,在THUMOS14数据集上平均检测精度均值(mAP)提升10.7%以上,在ActivityNet1.2数据集上mAP提升8.8%以上。

基于Deeplab V3 Plus的自适应注意力机制图像分割算法

针对Deeplab V3 Plus在下采样操作中图像细节信息和小目标信息过早丢失的问题,提出了一种基于Deeplab V3 Plus网络架构的自适应注意力机制图像语义分割算法。首先,在Deeplab V3 Plus主干网络的输入层、中间层和输出层均嵌入注意力机制模块,并且引入一个权重值与每个注意力机制模块相乘,以达到约束注意力机制模块的目的;其次,在PASCAL VOC2012公共分割数据集上训练嵌入注意力模块的Deeplab V3 Plus,以此手动获取注意力机制模块权重值(经验值);然后,探索输入层、中间层和输出层中注意力机制模块的多种融合方式;最后,将注意力机制模块的权重值更改为反向传播自动更新,从而得到注意力机制模块的最优权值和最优分割模型。实验结果表明,与原始Deeplab V3 Plus网络结构相比,引入自适应注意力机制的Deeplab V3 Plus网络结构在PASCAL VOC2012公共分割据集和植物虫害数据集上的平均交并比(MIOU)分别提高了1.4个百分点和0.7个百分点。