基于多模态内镜图像的人工智能模型诊断胃肿瘤性病变研究(含视频)

目的构建一种基于多模态内镜图像数据的人工智能胃肿瘤性病变诊断模型,并将其诊断效能与基于单模态图像数据的模型及内镜医师诊断水平进行比较。方法收集武汉大学人民医院内镜中心2018年3月至2019年12月期间463例患者的3267张白光成像和弱放大成像的胃肿瘤性病变及非肿瘤性病变图像,用于构建基于白光图像和弱放大图像的单模态模型(白光模型和弱放大模型)。将同一病变的白光和弱放大图像组合成图像对,用于构建多模态特征融合模型(多模态模型)。使用2020年3月至2021年3月间97例患者(102个病变)的696张图像作为图像测试集,比较单模态模型与多模态模型在图像水平和病变水平识别胃肿瘤性病变的诊断效能。收集2022年1月至2022年6月期间80例患者(80个病变)的视频片段,用于比较弱放大模型、多模态模型和7名内镜医师在在病变水平对胃肿瘤性病变的诊断效能。结果在图像测试集中,多模态模型在图像水平诊断胃肿瘤性病变的灵敏度、准确率分别为84.96%(576/678)、86.89%(1220/1289),优于弱放大模型的灵敏度[63.13%(113/179),χ^(2)=42.81,P<0.001]和准确率[80.59%(353/438),χ^(2)=10.33,P=0.001],同样优于白光模型的灵敏度[70.47%(74/105),χ^(2)=13.52,P<0.001]和准确率[67.82%(175/258),χ^(2)=57.27,P<0.001]。多模态模型在病变水平诊断的灵敏度、特异度和准确率分别为87.50%(28/32)、88.57%(62/70)、88.24%(90/102),特异度(χ^(2)=22.99,P<0.001)和准确率(χ^(2)=19.06,P<0.001)高于白光模型;但与弱放大模型间差异均无统计学意义(P>0.05)。在视频测试中,多模态模型在病变水平诊断胃肿瘤性病变的灵敏度、特异度和准确率分别为95.00%(19/20)、93.33%(56/60)和93.75%(75/80),分别优于内镜医师总体的77.14%(108/140)、79.29%(333/420)和78.75%(441/560),差异具有统计学意义(χ^(2)=18.62,P<0.001;χ^(2)=35.07,P<0.001;χ^(2)=53.12,P<0.001),且高于资深内镜医师的灵敏度[83.33%(50/60)],差异有统计学意义(χ^(2)=4.23,P=0.040)。结论构建的基于多模态内镜图像数据的智能胃肿瘤性病变诊断模型,在图片和视频测试集中均有较高表现,且在视频测试中优于内镜医师平均水平。