基于多编码器的多模态MRI脑肿瘤分割

脑胶质瘤是起源于脑神经胶质细胞的原发性肿瘤,发病率约占全部颅内肿瘤的45%,其核磁共振图像(MRI)的精准分割有着非常重要的临床意义。文中提出了一种基于多编码器的脑肿瘤自动分割方法,模型采用U型网络结构,扩充单收缩路径为多路径以深度挖掘不同模态语义信息;提出结合空洞卷积的Inception模块作为网络基础卷积层以获取图像多尺度特征;在网络瓶颈层和解码器中引入轻量型通道注意力Efficient Channel Attention(ECA)模块,使得模型更多地关注与分割相关的信息,忽略通道维度的信息冗余,从而进一步提高网络分割的精确率。在Brain Tumor Segmentation Challenge 2018(BraTS 2018)数据集上进行验证,提出的网络在整体肿瘤、肿瘤核心、增强肿瘤3个区域的平均Dice系数分别为0.880,0.784,0.757,结果表明所提算法实现了准确有效的多模态MRI脑肿瘤分割。

基于注意力机制的视觉位置识别方法

针对现有的视觉位置识别方法在图像外观变化和视角变化时准确性和鲁棒性表现不佳的问题,提出了一个与注意力机制结合的视觉位置识别方法。首先,采用在大型位置数据集上预训练的卷积神经网络HybridNet提取特征。然后,运用上下文注意力机制对图像不同区域分配权重值,构建基于多层卷积特征的注意力掩码。最后,将掩码与卷积特征结合,构建融合注意力机制的图像特征描述符,从而提高特征的鲁棒性。在两个典型位置识别数据集上做测试实验,结果表明结合注意力机制的方法可以有效区分图像中与位置识别有关的区域和无关的区域,提高在外观变化和视角变化场景中识别的准确性和鲁棒性。