Rare metal ore reserves are an important strategic resource, and their metallogenic mechanism and mineralization studies have also been received widespread international attention.
为去除导丝伪影以提高血管内光学相干断层扫描(IVOCT)的图像质量,辅助医师更加准确地诊断心血管疾病,降低误诊及漏诊的概率,针对IVOCT图像结构信息复杂且伪影区域占比大的难点,提出一种采用生成对抗网络(GAN)架构的基于Transformer的结...为去除导丝伪影以提高血管内光学相干断层扫描(IVOCT)的图像质量,辅助医师更加准确地诊断心血管疾病,降低误诊及漏诊的概率,针对IVOCT图像结构信息复杂且伪影区域占比大的难点,提出一种采用生成对抗网络(GAN)架构的基于Transformer的结构强化网络(SETN)。首先,GAN的生成器在提取纹理特征的原始图像(ORI)主干生成网络的基础上,并联了RTV(Relative Total Variation)图像强化生成网络用于获取图像的结构信息;其次,在ORI/RTV图像的伪影区域重建过程中,引入了分别关注时/空间域信息的Transformer编码器,用于捕获IVOCT图像序列的上下文信息以及纹理/结构特征之间的关联性;最后,利用结构特征融合模块将不同层次的结构特征融入ORI主干生成网络的解码阶段,配合判别器完成导丝伪影区域的图像重建。实验结果表明,SETN的导丝伪影去除结果在纹理和结构的重建上均十分优秀。此外,导丝伪影去除后IVOCT图像质量的提高,对于IVOCT图像的易损斑块分割及管腔轮廓线提取任务均具有积极意义。展开更多
基金financially supported by the National Natural Science Foundation of China(grant No.41302061)
文摘Rare metal ore reserves are an important strategic resource, and their metallogenic mechanism and mineralization studies have also been received widespread international attention.
文摘为去除导丝伪影以提高血管内光学相干断层扫描(IVOCT)的图像质量,辅助医师更加准确地诊断心血管疾病,降低误诊及漏诊的概率,针对IVOCT图像结构信息复杂且伪影区域占比大的难点,提出一种采用生成对抗网络(GAN)架构的基于Transformer的结构强化网络(SETN)。首先,GAN的生成器在提取纹理特征的原始图像(ORI)主干生成网络的基础上,并联了RTV(Relative Total Variation)图像强化生成网络用于获取图像的结构信息;其次,在ORI/RTV图像的伪影区域重建过程中,引入了分别关注时/空间域信息的Transformer编码器,用于捕获IVOCT图像序列的上下文信息以及纹理/结构特征之间的关联性;最后,利用结构特征融合模块将不同层次的结构特征融入ORI主干生成网络的解码阶段,配合判别器完成导丝伪影区域的图像重建。实验结果表明,SETN的导丝伪影去除结果在纹理和结构的重建上均十分优秀。此外,导丝伪影去除后IVOCT图像质量的提高,对于IVOCT图像的易损斑块分割及管腔轮廓线提取任务均具有积极意义。