基于域无关循环生成对抗网络的跨模态医学影像生成

【目的】为解决跨模态医学影像生成任务中因利用未配对数据训练而导致生成图像结构不对齐、精确度低的问题。【方法】本文提出了一种基于域无关循环生成对抗网络的跨模态医学影像生成模型,通过对齐循环生成时的中间特征,约束模态转换前后图像的结构一致性。【结果】在脑部CT-MRI数据集上的实验结果表明,本文所提出的方法能够提升模型在跨模态转换前后图像结构的一致性,从而提高跨模态医学影像的生成质量。【局限】本文目前在脑部多模态数据集上进行了大量实验,还需要在其他数据集中进一步验证其通用性。【结论】本文提出的方法在各类衡量生成图像质量的指标上均优于目前性能最佳的跨模态医学影像生成模型。

基于多样化标签矩阵的医学影像报告生成

医学影像在医学诊断中具有重要作用,而准确描述的文本报告对于理解图像以及后续疾病诊断是必不可少的。目前在医学影像报告生成领域,基于模式化方法生成规范的文本报告成为近年的研究热点。但正负样本数量差距较大导致的数据偏差问题,使得生成的报告内容普遍倾向于描述正常状况,难以准确捕捉异常信息。为解决这一问题,提出了一种基于多样化标签矩阵的医学报告生成方法,可以对不同的疾病进行差异化学习,生成多样化的医疗报告;设计文本-矩阵特征损失函数,优化多样化标签矩阵;增加特征交叉模块改进Transformer网络,加强图像与文本的映射,提升疾病描述的准确性。在IU-X-Ray和MIMIC-CXR两个数据集上进行实验,实验结果表明,与目前的主流方法相比,所提方法在BLEU,METEOR等多个指标上取得了最优的效果。

基于深度学习的医学影像高效生成方法研究

目的:提出一种基于深度学习的医学影像高效生成方法,以解决医学影像数据获取困难、患病样本分布不均匀的问题。方法:将作为CycleGAN输入的2种真实图像进行图像风格迁移,在训练过程中CycleGAN学习2种图像的图像风格,并将这2种图像的图像风格进行转换,输出不同于原图像风格的图像。以肺部CT图像和眼底图像为例,分别对该方法的样本风格转换能力和患病样本生成能力进行测试。结果:经过训练后,该方法能够将肺部厚层CT图像转换为薄层CT图像,并能生成大量质量较高的眼底患病图像,且生成图像耗时短。结论:该方法可以高效生成医学影像,为临床研究以及相关人工智能模型训练提供了有力的保障,并且可为医学人工智能产品的泛化能力提供测试支撑。

基于深度学习的医学影像报告生成研究综述

阅片是放射科医生日常的一项艰巨任务。实现医学影像报告自动生成就是为了缓解并辅助放射科医生快速准确进行疾病诊断和治疗方案制定的,同时减轻他们撰写报告的负荷。目前基于深度学习的医学影像报告自动生成的研究是当前的热门课题。文章对医学影像报告自动生成现有的主流方法及研究成果进行了总结和讨论,分析了该研究主要使用的网络模型和建模思想。由于影像报告自动生成属于交叉领域问题,按模型设计的侧重点,可将其划分为以图像处理技术为主的报告自动生成和以自然语言处理技术为主的报告自动生成两大类,并进行对比分析。最后总结了基于医学影像的报告自动生成方法会面临的挑战和未来的研究方向。

基于双分支特征融合的医学报告生成方法

医学图像的全局特征在基于深度学习的医学影像报告自动生成任务中发挥着重要作用,传统方法通常仅使用单分支卷积神经网络提取图像语义特征,注重局部细节特征的提取,但缺乏对医学图像全局特征的关注。提出一种新的医学影像报告生成方法DBFFN,基于双分支特征融合,结合卷积神经网络与视觉Transformer各自在图像特征提取上的优势,分别提取给定医学图像的全局特征和局部特征,在计算图像全局关系的同时关注局部细微的语义信息。针对医学图像的特征融合问题,设计一种多尺度特征融合模块,对来自两个分支的图像特征进行自适应尺度对齐,并结合矩阵运算方法和空间信息增强方法有效融合全局特征与局部特征内部包含的语义信息。在IU-X-Ray数据集上的实验结果表明,DBFFN方法的BLEU-1~BLEU-4,METEOR,ROUGE-L指标平均值分别为0.496,0.331,0.234,0.170,0.214,0.370,优于HRNN、HRGR、CMAS-RL等方法,在医学影像报告自动生成任务上具有有效性。

MIRGAN:一种基于GAN的医学影像报告生成模型

基于图像理解的医学影像报告生成任务与传统的图像理解任务相比,是一个更加具有挑战的任务。针对该任务,提出医学影像报告生成对抗网络(medical image report generative adversarial network, MIRGAN)模型。采用共同注意力机制对多个特征区域的视觉特征和语义特征进行综合处理并分别生成对应于这些区域的描述。融合生成对抗网络(generative adversarial network, GAN)和强化学习(reinforcement learning, RL)方法优化生成模型的性能使其输出更高质量的报告。试验结果验证了MIRGAN模型的有效性。