监测上消化道盲区智能内镜影像分析系统的构建及验证

目的构建监测上消化道盲区的智能内镜影像分析系统,并验证其监测性能。方法回顾性收集武汉大学人民医院消化内镜中心2016-2020年的上消化道内镜图片87167张(数据集1),其中训练集75551张,测试集11616张;回顾性收集来自武汉大学人民医院消化内镜中心2016-2020年的咽部图片2414张(数据集2),其中训练集2233张,测试集181张。分别构建上消化道盲区监测27分类模型(模型1,区分图像为咽部、食管、胃腔等27个解剖学部位)、咽部盲区监测5分类模型(模型2,区分上颚、咽后壁、喉部、左梨状窝、右梨状窝)。基于数据集1、2对上述模型进行训练和图片测试,基于keras框架的EfficientNet-B4、ResNet50、VGG16模型进行训练。进一步回顾性收集来自武汉大学人民医院消化内镜中心2021年的完整上消化道内镜检查视频30个,在视频中测试模型2盲区监测性能。结果模型1在图片中识别上消化道27个解剖学部位准确率的横向对比结果显示,EfficientNet-B4、ResNet50、VGG16在上消化道盲区监测27分类模型的平均准确率分别为90.90%、90.24%、89.22%,其中EfficientNet-B4模型的表现最优,EfficientNet-B4模型各个部位监测的准确率介于80.49%~97.80%。模型2在图片中识别咽部5个解剖学部位准确率的横向对比结果显示,EfficientNet-B4、ResNet50、VGG16在咽部盲区监测5分类模型的平均准确率分别为99.40%、98.56%、97.01%,其中EfficientNet-B4模型的表现最优,其各个部位监测的准确率介于96.15%~100.00%;模型2在视频中识别咽部5个解剖学部位的总体准确率为97.33%(146/150)。结论基于深度学习构建的可监测上消化道盲区的智能内镜影像分析系统,耦合了咽部盲区监测及食管、胃腔、十二指肠盲区监测功能,在静止图像及视频中均具有较高识别准确率,有望应用于临床辅助医生实现上消化道视野全覆盖。