一种自监督掩码图像建模的遮挡目标检测方法

为提升目标检测网络在更多遮挡场景下的适应性和检测效果,提出了一种自监督掩码图像建模方法,该方法将训练分为2个阶段:预训练阶段和微调阶段。在预训练阶段,采用局部掩码和重建的代理任务对无标签图像进行训练。在微调阶段,针对被遮挡目标尺度变化和不同大小目标的检测问题,提出了基于视觉Transformer(vision transformer,ViT)的金字塔结构。通过在CrowdHuman和CityPersons数据集上进行对比分析,自监督掩码图像建模方法在检测被遮挡目标方面优于其他方法。

一种基于预训练模型掩码Aspect术语的数据增强方法

数据增强是解决低资源场景下数据稀缺问题的有效方案。然而,当应用于诸如方面术语提取(ATE)之类的词级别任务时,数据增强方法通常会遭受词标签不对齐的问题,从而导致效果不理想。对此提出了掩码方面语言建模(MALM)作为ATE的新型数据增强框架。为了缓解标记、标签错位问题,将ATE标签显式注入到句子上下文中,由此经过微调的MALM能够显式地调整标签信息来预测掩码的方面标记。因此,MALM可帮助生成具有新方面的高质量增强数据,提供丰富的层面方面知识。此外,提出了一个两阶段的训练策略来整合这些合成数据。通过实验,证明了MALM在两个ATE数据集上的有效性,相比基线方法,所提出的MALM有显著的性能改进。

用于肺水肿量化的掩码图像-语言蒸馏模型

肺水肿量化是治疗急性充血性心力衰竭(congestive heart failure,CHF)的关键。用于视觉和语言预训练的多模态掩码自编码器已被证实可有效融合胸片和肺水肿放射学报告的多模态信息以提升肺水肿量化精度。但现有的方法是随机地对图像和文本进行掩码操作,这一不稳定的操作容易导致模型忽略图像病灶和文本关键词,并阻碍多模态信息的融合与对齐,最终影响量化精度。针对上述问题,本研究设计了一种掩码图像-语言蒸馏模型,首次将自蒸馏引入到医学图像-语言预训练任务中,使得模型获得更为稳定可靠的医学图像和语言表示;并对跨模态注意力融合机制进行优化,使得模型更好地融合与对齐多模态信息。相比于101层残差神经网络(residual network 101,ResNet101)、视觉Transformer(vision transformer,ViT)-B/16、联合胸片和肺水肿放射学报告建模(joint modeling of chest radiographs and radiology reports for pulmonary edema assessment,JMC3R)和用于视觉和语言预训练的多模态掩码自编码器(multi-modal masked autoencoders for medical vision and language pre-training,M3AE),本研究所提出的方法在肺水肿量化数据集(pulmonary edemaassessmentdataset,PEAD)上获得了更高的肺水肿量化精度。