深度多尺度不变特征网络预测胶质瘤1p/19q缺失状态

准确预测胶质瘤染色体1p/19q的缺失状态对于制定合适的治疗方案和评估胶质瘤的预后有着重要的意义.虽然已有研究能够基于磁共振图像和机器学习方法实现胶质瘤1p/19q状态的准确预测,但大多数方法需要事先准确勾画肿瘤边界,无法满足计算机辅助诊断的实际需求.因此,提出一种深度多尺度不变特征网络(deep multiscale invariant features-based network,DMIF-Net)预测1p/19q的缺失状态.首先利用小波散射网络提取多尺度、多方向不变特征,同时基于深度分离转聚合网络提取高级语义特征,然后通过多尺度池化模块对特征进行降维并融合,最后在仅输入肿瘤区域定界框图像的情况下,实现胶质瘤1p/19q状态的准确预测.实验结果表明,在不需要准确勾画肿瘤边界的前提下,DMIF-Net预测胶质瘤1p/19q缺失状态的AUC(area under curve)可达0.92(95%CI=[0.91,0.94]),相比于最优的主流深度学习模型其AUC增加了4.1%,灵敏度和特异性分别增加了4.6%和3.4%,相比于最好的胶质瘤分类前沿模型,其AUC与精度分别增加了4.9%和5.5%.此外,消融实验证明了本文所提出的多尺度不变特征提取网络可以有效地提高模型的预测性能,说明结合深度高级语义特征和多尺度不变特征可以在不勾画肿瘤边界的情况下,显著增加对胶质瘤1p/19q缺失状态的预测能力,进而为低级别胶质瘤的个性化治疗方案制定提供一种辅助手段.

自适应多模态特征融合胶质瘤分级网络

目的胶质瘤的准确分级是辅助制定个性化治疗方案的主要手段,但现有研究大多数集中在基于肿瘤区域的分级预测上,需要事先勾画感兴趣区域,无法满足临床智能辅助诊断的实时性需求。因此,本文提出一种自适应多模态特征融合网络(adaptive multi-modal fusion net,AMMFNet),在不需要勾画肿瘤区域的情况下,实现原始采集图像到胶质瘤级别的端到端准确预测。方法 AMMFNet方法采用4个同构异义网络分支提取不同模态的多尺度图像特征;利用自适应多模态特征融合模块和降维模块进行特征融合;结合交叉熵分类损失和特征嵌入损失提高胶质瘤的分类精度。为了验证模型性能,本文采用MICCAI(Medical Image Computing and Computer Assisted Intervention Society) 2018公开数据集进行训练和测试,与前沿深度学习模型和最新的胶质瘤分类模型进行对比,并采用精度以及受试者曲线下面积(area under curve,AUC)等指标进行定量分析。结果在无需勾画肿瘤区域的情况下,本文模型预测胶质瘤分级的AUC为0.965;在使用肿瘤区域时,其AUC高达0.997,精度为0.982,比目前最好的胶质瘤分类模型——多任务卷积神经网络同比提高1.2%。结论本文提出的自适应多模态特征融合网络,通过结合多模态、多语义级别特征,可以在未勾画肿瘤区域的前提下,准确地实现胶质瘤分级预测。