双模型策略在指甲病图像智能诊断中的应用

目的探索一种在小数据量条件下提高医学诊断神经网络模型准确率和泛化能力的方法,解决在指甲病图像计算机辅助诊断中由于训练数据量小而导致神经网络模型性能不佳的问题。方法提出融合实例分割与细粒度特征分类的双模型策略,采用第一届全国数字健康创新应用大赛健康医疗大数据主题赛基于图像的指甲病智能诊断模型任务数据集训练基于双模型策略的神经网络模型,该任务数据集涵盖甲母痣、甲沟炎、银屑病甲、甲真菌病、甲下出血、甲黑线、甲周疣、甲黑素瘤8类指甲病,各类别不平衡。评估双模型策略的诊断性能,并与相同软、硬件训练条件下单模型策略[图像分类模型(ResNet50、Swin Transformer)和基于快速区域卷积神经网络(Faster R-CNN)的目标检测模型]进行比较。结果纳入任务数据集包括甲母痣210例、甲沟炎186例、银屑病甲69例、甲真菌病203例、甲下出血149例、甲黑线71例、甲周疣93例、甲黑素瘤67例共1048例样本,其中90%的样本用于训练不同策略的模型,10%用于评估模型。基于ResNet50的图像分类模型的micro F1值为0.324,基于Swin Transformer的图像分类模型为0.381,基于Faster R-CNN的目标检测模型为0.572,基于双模型策略的Mask R-CNN+Swin Transformer模型为0.714。双模型策略预测各指甲病的准确度为甲母痣80.95%(17/21)、甲沟炎89.47%(17/19)、银屑病甲100.00%(7/7)、甲真菌病70.00%(14/20)、甲下出血73.33%(11/15)、甲黑线14.29%(1/7)、甲周疣55.56%(5/9)、甲黑素瘤42.86%(3/7)。双模型策略在该任务1000例测试集中的micro F1值为0.844。结论双模型策略可以有效结合功能不同的模型,更好地完成小数据量训练条件下的指甲病图像智能诊断任务。