Transformer模型在胃镜视频部位实时识别的研究探索

目的探索深度学习技术(Transformer模型)在胃镜视频中部位实时识别的性能评价。方法使用深圳市第二人民医院2021年5至7月录制的50部胃镜视频为研究资料,抽帧形成“视频图像集合”,其中40部为训练集1,10部为测试集;以含有25525张胃镜图像的“胃镜图像集合”为对照组,形成训练集2。Transformer模型基于训练集1、训练集2、“训练集1+训练集2”学习训练分别形成“基于视频智能系统”、“基于图像智能系统”、“基于视频和图像智能系统”。通过测试集比较视频智能系统、图像智能系统、视频和图像智能系统的准确度、特异度等差异。结果研究组1基于视频智能系统准确度、特异度、总体有效度分别为84.3%、78.9%、81.5%;研究组2基于视频和图像智能系统准确度、特异度、总体有效度分别为82.9%、81.5%、82.2%;对照组基于胃镜图像智能系统准确度、特异度、整体有效度分别为80.0%、76.8%、78.4%。结论结果具有统计学意义,Transformer模型视频学习效果优于胃镜图像,Transformer模型学习视频+图像效果优于单独视频学习。

面向病例的人工智能良恶性溃疡识别研究

目的建立基于深度学习的人工智能模型,通过对胃良、恶性溃疡及正常黏膜病例图片的学习,使其对良、恶性溃疡病例具有较高的识别能力,从而在一定程度上提高内镜医师的诊断水平,为胃癌的早期诊断提供极大的助力。方法按照纳入和排除标准,共纳入病例3238例,其中恶性胃溃疡、良性胃溃疡及正常胃的病例数分别为:747例、761例及1730例。采用随机原则将原始病例按照大致8∶1∶1的比例分为训练集(正常病例1380例,良性胃溃疡病例614例,恶性胃溃疡病例596例)、验证集(正常病例179例,良性胃溃疡病例75例,恶性胃溃疡病例70例)和测试集(正常病例171例,良性胃溃疡病例72例,恶性胃溃疡病例81例)。建立基于多图片输入的efficientNet-b4深度学习模型对训练集及验证集中的病例进行训练,然后与2名经验丰富的内镜医师一起对测试集的324例病例进行识别,得出相关统计学指标,从而比较人工智能与内镜医师的对胃正常黏膜及良、恶性胃溃疡病例识别的诊断水平。结果经验丰富内镜医师1、经验丰富内镜医师2及人工智能对病例识别的整体准确率分别为:92.09%、91.36%及95.06%,人工智能对病例识别的整体准确率要明显优于经验丰富的内镜医师。对于正常病例的识别,人工智能的灵敏度为98.25%,略低于两位内镜医师的99.42%和100%,但其阳性预测值为100%,优于其中一位医师的97.14%,与另一位医师的100%结果一样;对于良性胃溃疡病例的识别,人工智能的灵敏度和阳性预测值分别为:91.67%和86.84%,均优于两位经验丰富的内镜医师;对恶性胃溃疡病例的识别,人工智能的灵敏度和阳性预测值分别为:91.36%和92.50%,均优于两名经验丰富的内镜医师;人工智能及两名内镜医师对于良、恶性胃溃疡病例识别的灵敏度及阳性预测值都要明显低于其对正常病例的识别。结论通过深度学习的人工智能模型对胃正常黏膜及良、恶性胃溃疡病例的识别的误诊要低于内镜医师;在良、恶性胃溃疡病例的识别方面,人工智能模型的误诊和漏诊也要优于经验丰富的内镜医师。但人工智能对于正常胃黏膜病例的识别的漏诊要高于内镜医师,且其对于良、恶性胃溃疡病例识别的漏诊和误诊也均要高于其对胃正常黏膜病例的识别,还需要进一步的完善,以优化人工智能对良、恶性胃溃疡病例的识别能力。