面向多模态医学语料库的皮肤镜图像分类

多模态医学语料库是医学研究、临床诊断和教学的重要工具之一。然而,现有的医学语料库大多仅有文本数据,缺乏匹配的直观图像,信息不够充分。而大量医学图像缺少明确的语义标签,导致构建语料库困难。针对上述问题,该文提出一种面向多模态医学语料库的皮肤镜图像分类方法,通过对皮肤镜图像进行精确分类获取语义标签,并结合自然语言处理方法匹配相关文本信息,从而建立图像与文本相结合的多模态语料库。首先,针对传统机器学习图像分类方法对病灶特征提取较弱且易受背景噪声影响,导致病灶分类精度差的问题,该文构建双流网络,通过融合病灶的形状与纹理特征增强病灶特征提取能力。其次,为减少特征融合导致的信息冗余,引入了基于通道注意力机制的特征筛选方法,关注关键特征并抑制噪声影响。此外,针对皮肤镜图像良恶性样本数量不均衡导致的模型优化困难问题,引入非对称损失函数,提升模型对样本不均衡的鲁棒性。在ISIC皮肤镜图像数据集上的实验结果表明,该文所提方法能够快速准确地分类皮肤镜图像,并将图像与病历文本进行精准匹配以构建多模态医学语料库。