集成CNN和Transformer的通道交互多层级融合变化检测

为有效集成卷积神经网络的局部性和Transformer的全局性,提出一种全新的通道交互多层级融合变化检测网络CIMLFNet。以CNN和Transformer为基础,设计一种三通道特征提取器,以充分提取两期影像的时空特征;构建一种金字塔时空交叉注意力模块,利用通道2提取的特征增强通道1和3提取的特征,突出变化信息;提出一种双分支通道交互多层级融合模块,分别从层级优先和通道优先的角度对增强的特征进行融合,以充分利用CNN和Transformer的优势和互补性;给出一种简单有效的边界区域增强分类器。在WHU、Google、GVLM和LEVIR等4组公开变化检测数据上,CIMLFNet的F_(1)/IoU值分别达到91.19%/83.80%、85.97%/75.40%、88.85%/79.94%和90.07%/81.94%,明显优于6组对比方法,验证了CIMLFNet的有效性。

跨级融合门控自适应网络用于视网膜血管分割

针对现有多数算法对浅层特征提取不足,导致分割结果中血管边界模糊、毛细血管欠分割且包含噪声等问题,提出一种跨级融合门控自适应网络。该网络中的密集门控通道变换模块,通过促进通道之间的竞争或协同关系充分提取浅层特征信息,避免浅层粗粒度特征信息丢失;通过跨层次融合模块捕获各层跨维度交互信息,有效聚合多尺度上下文特征;采用双自适应特征融合方法有效引导相邻层次特征融合,抑制噪声。在公共数据集DRIVE、CHASEDB1和STARE上进行验证,结果表明:所提网络准确率分别为0.9652、0.9668和0.9695,F_(1)值分别为0.8544、0.8152和0.8412,在多个指标上均处于较高水平,优于现有先进算法。

基于高斯密度图的自然场景中文文字检测

自然场景下中文文字检测任务字符面积较小且文字背景复杂,为此,该文提出了一种基于高斯密度图作为分割区域标签的文字检测改进方法。将文本区域标注从矩形框改变为高斯分布区域标签,在特征融合部分引入了交叉通道融合注意力机制,以提高网络的收敛性能,提出像素值一维投影法解决了文字密集区域输出的高斯密度图在不同标签区域出现重叠的问题。经过实验验证,该文方法对中文文字检测有较好的结果,证明了该方法的有效性。

基于多模态融合的2D MR脑肿瘤图像分割算法研究

针对不同模态MR脑肿瘤图像呈现的肿瘤状态差异以及卷积神经网络(convolutional neural networks,CNNs)提取特征局限性的问题,提出了一种基于多模态融合的MR脑肿瘤图像分割方法。分割模型以U-net网络为原型,创新一种多模态图像融合方式以加强特征提取能力,同时引入通道交叉注意力机制(channel cross transformer,CCT)代替U-net中的跳跃连接结构,进一步弥补深浅层次的特征差距与空间依赖性,有效融合多尺度特征,加强对肿瘤的分割能力。实验在BraTS数据集上进行了多目标分割结果验证,通过定量分析对比前沿网络分割结果,表明该方法确有良好的分割性能,其分割出三种肿瘤区域的Dice系数分别达到80%、74%、71%。