基于深度学习构建结直肠息肉诊断自动分类模型

目的探讨基于深度学习的结直肠息肉诊断自动分类模型的构建。方法收集2018年1月至2023年1月在苏州市3个内镜中心的不同图像增强内镜(IEE)技术下的结肠镜图像957张(常熟市第一人民医院537张,常熟市中医院359张,苏州大学附属第一医院61张),依据病理结果分为正常组、增生性息肉组和腺瘤性息肉组。利用DenseNet-121、EfficientNet、resnet101和resnet504种卷积神经网络(CNN)框架,构建深度学习模型,并评估其与经验不同的内镜医师的准确率、召回率、精确度、F1值和读片时间。结果EfficientNet在4个模型中最为优越,准确率0.961,召回率0.968,精确度0.959,F1值0.962,在读图用时方面,所有模型完成图像自动诊断任务的平均时间为(4.08±0.63)s,远快于内镜医师所需的平均时间[(291.10±17.68)s],差异有统计学意义(t=-36.22,P<0.01)。将EfficientNet预训练模型经迁移学习后的模型命名为“EffiPolyNet”,其在腺瘤性息肉上有少量误分类,但准确率达0.90,AUC为0.98。t-分布随机邻域嵌入(t-SNE)可视化揭示了腺瘤性和增生性息肉间部分语义特征重叠,解释了模型的误分类。利用梯度加权分类激活映射(Grad-CAM)和沙普利可加性解释(SHAP),揭示了模型决策中的关键图像区域和特征的相对重要性。结论EffiPolypNet模型在多种IEE技术的结直肠息肉性质分类中表现出色,为结肠镜光学诊断提供了高效且可靠的支持。

基于不同卷积神经网络构建小肠多病变自动检测的人工智能辅助系统

目的基于不同卷积神经网络开发人工智能辅助系统,用于自动检测小肠胶囊内镜(CE)拍摄的11类小肠病变图像,提高诊断的效率、准确性和客观性。方法收集来自3个不同医学中心,使用3种不同品牌设备拍摄的CE图像,构建图像数据集,用于不同卷积神经网络模型的训练和测试,共含13683张图像和15117个注释标签。模型性能评估指标包括平均精度、准确率、敏感性、特异性、假阳性率、检测速度。结果构建了2种YOLO模型和2种RTMDet模型,在包含2729张CE图像(4801注释标签)的测试集上,RTMDet_m模型取得了最佳的mAP50(82.58%),但也展现出最慢的延迟时间(47.28帧/s)。模型达到了82.76%的整体敏感性和95.91%整体准确率;在具体类别的推理中,敏感性最高的类别是“出血”,而最低的类别是“黏膜下肿瘤”。结论使用混合品牌CE图像开发的人工智能模型能够快速准确地检测与分类11种小肠病变,在帮助医师提升CE诊断效率和准确性方面展现出很好的临床应用潜力。

基于不同深度学习架构建立结肠镜质量控制的人工智能辅助系统

目的:利用不同深度学习架构模型构建结肠镜质量控制的深度学习模型,并深入探索其决策机制。方法:基于HyperKvasir和苏州大学附属常熟医院的数据集,筛选结肠镜图像,涵盖不同清洁度的肠道、息肉及盲肠。图像经过预处理和增强后,采用基于卷积神经网络(CNN)和Transformer的预训练模型进行迁移学习。模型训练采用交叉熵损失函数,使用Adam优化器,并实施学习率调度。为提高模型透明度,进行深入的可解释性分析,包括梯度加权分类激活映射、指导式梯度加权分类激活映射和沙普利加性解释等技术。最后,模型被转换为开放神经网络交换格式(ONNX)并部署到多种设备终端,以实现结肠镜质量的实时控制。结果:在3831张结肠内窥镜图像中,EfficientNet模型在测试集上表现最佳,准确率达到0.992,超过其他CNN(DenseNet121、ResNet50、VGG19)和Transformer(ViT、Swin、CvT)架构模型,其精确率、召回率和F1值分别为0.991、0.989和0.990。在358张外部测试集图像上,EfficientNet模型的平均AUC、精确率和召回率分别为0.996、0.948和0.952。尽管模型整体表现出色,但仍存在一些误判情况。模型可解释性分析揭示其决策中所依赖的图像区域。此外,模型已成功转换为ONNX格式并在多种平台和设备上部署,实现每秒超过60帧的平均推理速度,确保结肠镜检查的实时质量控制。结论:本研究为结肠镜质量控制开发7种基于CNN与Transformer的模型,EfficientNet在各类别中展现出卓越性能,并已在多终端实现实时预测,为患者提供更高水平的医疗服务。