基于不同深度学习架构建立结肠镜质量控制的人工智能辅助系统

目的:利用不同深度学习架构模型构建结肠镜质量控制的深度学习模型,并深入探索其决策机制。方法:基于HyperKvasir和苏州大学附属常熟医院的数据集,筛选结肠镜图像,涵盖不同清洁度的肠道、息肉及盲肠。图像经过预处理和增强后,采用基于卷积神经网络(CNN)和Transformer的预训练模型进行迁移学习。模型训练采用交叉熵损失函数,使用Adam优化器,并实施学习率调度。为提高模型透明度,进行深入的可解释性分析,包括梯度加权分类激活映射、指导式梯度加权分类激活映射和沙普利加性解释等技术。最后,模型被转换为开放神经网络交换格式(ONNX)并部署到多种设备终端,以实现结肠镜质量的实时控制。结果:在3831张结肠内窥镜图像中,EfficientNet模型在测试集上表现最佳,准确率达到0.992,超过其他CNN(DenseNet121、ResNet50、VGG19)和Transformer(ViT、Swin、CvT)架构模型,其精确率、召回率和F1值分别为0.991、0.989和0.990。在358张外部测试集图像上,EfficientNet模型的平均AUC、精确率和召回率分别为0.996、0.948和0.952。尽管模型整体表现出色,但仍存在一些误判情况。模型可解释性分析揭示其决策中所依赖的图像区域。此外,模型已成功转换为ONNX格式并在多种平台和设备上部署,实现每秒超过60帧的平均推理速度,确保结肠镜检查的实时质量控制。结论:本研究为结肠镜质量控制开发7种基于CNN与Transformer的模型,EfficientNet在各类别中展现出卓越性能,并已在多终端实现实时预测,为患者提供更高水平的医疗服务。