基于注意力机制和多模态特征融合的猕猴脑磁共振图像全脑分割

目的提出并探讨一种新的基于注意力机制和多模态特征融合的深度学习算法(DDAM),实现对猕猴脑MRI图像的全脑分割。方法共收集68例年龄分布在13~36月的多模态猕猴脑MRI图像数据,且均包含对应的真实标签。针对多模态数据信息复杂且互补的特点,采用多编码器结构分别适应不同模态并进行特征提取。在解码器部分引入注意力机制构建多模态特征融合模块(AMFF),利用模态间信息丰富且互补的特点,充分融合不同尺度和复杂度的多模态特征,进而提升分割性能。另外,进行消融实验分析并对结果进行统计学检验。结果多编码器结构以及注意力机制的引入能够有效地提升模型对多模态特征的融合能力,使得猕猴数据的全脑分割平均DSC达到0.904,ASD低至0.131(P<0.05)。消融实验结果验证了DDAM方法各组成部分的有效性。结论本文针对多模态数据特点构建深度学习算法模型,提出的DDAM方法,能够更有效地提取并融合多模态特征,从而实现全脑分割精度的显著提高。

RegAug:基于深度学习配准模型的脑MRI数据增强方法

目的脑核磁共振图像(MRI)分割是许多医学应用中的一项重要任务。现有的深度学习分割网络可以达到最先进的性能,但是往往非常依赖于大规模的有标注数据集。然而,标记脑MRI非常昂贵,因为它需要复杂的专业知识和大量的时间、人力成本。并且常用的手动调整数据增强的方式在复杂的脑MRI上效果并不显著。因此,本文提出一种名为RegAug的基于深度学习配准模型的脑MRI自动数据增强方法,仅需要一张有金标注的样本(单图谱)结合大量无标注数据,即可合成丰富多样的增强数据,指导分割网络完成高精度分割。方法RegAug首先使用配准模型学习图像间的空间形变场,然后利用条件可变自动编码器(CVAE)对配准网络生成的空间形变场进行概率分布建模,最后在分布中进行采样以生成分割网络使用的增强数据。RegAug在公开脑MRI数据集OASIS上进行训练和测试。结果本文共使用了386张MRI图像,其中305张用于训练,81张用于测试。本文方法在35个大脑结构的分割上取得了0.86的Dice精度,与其它基于单图谱的分割方法相比,表现出了更优越的性能。结论本文仅使用一张有金标注的样本,有效利用了大量无标注数据,实现了优秀的自动化数据增强,提升了下游模型的脑MRI分割表现。