医学影像跨模态重建中的生成对抗网络研究进展

单一模态的医学影像所包含的疾病特征信息有限,临床医生可通过综合分析多种模态的医学影像信息以明确诊断,但由于医疗资源及诊疗时间受限,医生一般无法在短时间内获得所需的多模态影像信息。跨模态医学影像重建技术能够生成临床所需的多种模态医学影像,有望辅助临床医生对疾病进行精准诊疗。目前,传统跨模态重建技术已实现部分临床场景的应用,但重建影像的生成质量有待进一步提高,生成对抗网络可重建出临床所需的高质量多模态医学影像,最大程度地节约医疗资源并缩短患者就诊时间。本文就生成对抗网络在X线、CT、MRI、PET等多模态影像之间的跨模态重建应用研究作一综述,以期为开发更先进的跨模态重建技术提供借鉴。

生成对抗网络在医学图像跨模态重建中的应用及展望

医学图像跨模态重建是指基于被试某一种模态图像,预测同一被试的另一种模态图像,以实现更精准的个体化医疗。生成对抗网络(generative adversarial networks,GAN)是医学图像跨模态重建中最常见的深度学习技术,该技术通过从遵循真实数据分布的隐式分布中生成医学图像,进而快速重建出其他模态医学图像数据。随着临床对多模态影像数据需求的剧增,GAN技术在磁共振成像、计算机断层扫描和正电子发射型计算机断层扫描等多种不同的医学图像模态之间的跨模态重建任务中均得到广泛的应用,在脑、心等不同部位实现精准高效的跨模态图像重建。此外,虽然GAN在跨模态重建中取得了一定的成功,但其在稳定性、泛化能力和准确度方面仍需要进一步的改进。

半配对的多模态询问哈希方法

多模态哈希能够将异构的多模态数据转化为联合的二进制编码串。由于其具有低存储成本、快速的汉明距离排序的优点,已经在大规模多媒体检索中受到了广泛的关注。现有的多模态哈希方法假设所有的询问数据都具备完整的多种模态信息以生成它们的联合哈希码。然而,实际应用中很难获得全完整的多模态信息,针对存在模态信息缺失的半配对询问场景,该文提出一种新颖的半配对询问哈希(SPQH),以解决半配对的询问样本的联合编码问题。首先,提出的方法执行投影学习和跨模态重建学习以保持多模态数据间的语义一致性。然后,标签空间的语义相似结构信息和多模态数据间的互补信息被有效地捕捉以学习判别性的哈希函数。在询问编码阶段,通过学习到的跨模态重构矩阵为未配对的样本数据补全缺失的模态特征,然后再经习得的联合哈希函数生成哈希特征。相比最先进的基线方法,在Pascal Sentence,NUS-WIDE和IAPR TC-12数据集上的平均检索精度提高了2.48%。实验结果表明该算法能够有效编码半配对的多模态询问数据,取得了优越的检索性能。

面向6G的跨模态信号重建技术

6G时代下,为了兼顾多媒体用户音频、视频、触觉的沉浸式体验需求与低时延、高可靠、大容量的通信质量,提出一种跨模态信号重建架构和由视频信号重建触觉信号的深度学习模型。首先,通过控制机器人触摸各种材质,构建了包含音频、视频、触觉信号的数据集VisTouch,为后续各种跨模态问题的研究奠定基础;其次,通过利用多模态信号间的语义关联性,设计一种普适的、稳健的端到端跨模态信号重建框架;再次,以通过视频信号重建触觉信号为例,构建视频辅助的触觉重建模型,包括基于3D CNN的视频特征提取网络,基于全卷积网络的GAN生成网络与基于CNN的GAN辨别网络;最后,通过实验结果验证跨模态信号重建框架的可靠性以及触觉重建模型的准确性。