基于3D监督预训练的全身病灶检测SOTA

现如今医学领域和计算机领域的融合程度越来越深,越来越多的研究团队使用计算机先进的图像处理技术来完成医学影像的分类,分割,检测,配准和成像重建等工作,但是这仍是少数,绝大多数的医疗机构仍然是依靠医生来根据图像进行诊断和结果分析,这大大降低了医院的工作效率,诊断时间长,给患者无论是精神上还是身体上都带来了负担。因此,我们通过机器深度学习的预训练3D模型,3D建模和卷积神经网络技术来建立一个可以直接进行影像分类,切割和病灶检测的系统。本研究针对CT层面中的2D病灶检测问题提出了一种可以有效利用3D上下文信息的新框架,同时提出了一种预训练3D卷积神经网络的新思路,该研究在迄今规模最大的CT图像数据集NIH DeepLesion上进行了实验,并取得了SOTA的病灶检测结果。有监督预训练方法可以有效提升3D模型训练的收敛速度,以及在小规模数据集上的模型精度,用于提升病症分析的速度和准确率,提高医疗效率。论文的主要研究成果包括:1) 提出了3D卷积模型病灶检测预处理方法。该方法是通过数据的预处理将CT影像转换为三通道的伪彩色图像,从而将图像中的像素值归一化到相同的范围,减小了不同类型病灶形态差异。其次,通过预处理,结合多类型病灶框大小的先验知识,对锚框宽高比进行了优化。2) 开发了一个通用和高效的能够增强3D上下文信息建模的网络框架。首先提出一种改进的伪3D框架来对连续多层输入进行高效的3D上下文特征提取,同时配合一个组卷积变换模块,在该特征输入到检测头之前可以将3D特征转换为2D特征,来适配我们的2D目标检测任务。以确保模型始终具备3D上下文建模能力。3) 研究设计了一种有监督的预训练方法来增强MP3D的训练以及收敛性能。本研究工作提出一种基于变维度转换的3D模型预训练方法:将2D空间中的channel维度转换为3D空间中的dept维度,将原始具有色彩信息的RGB三通道二维图像转化成三维空间中的三个连续层面图像,以此达到有效的利用2D自然图像处理进行3D模型的预训练。本论文在DeepLesion数据集上对提出的方法进行了定性和定量的分析对比。结果显示本论文方法可以作为CT影像中多类型病灶的辅助检测方法,从而促进CT技术在临床的应用。