深度学习技术识别纱布在腹腔镜胰腺手术中的应用价值

目的探讨深度学习技术识别纱布在腹腔镜胰腺手术中的应用价值。方法采用回顾性描述性研究方法。收集2017年7月至2020年7月中国医学科学院北京协和医院保存完整的80个腹腔镜胰腺手术视频资料, 按随机数方法以3∶1比例分为训练集61个视频与测试集19个视频。训练集用于训练神经网络模型, 测试集用于测试不同难度场景下神经网络识别纱布的能力。由两位医师筛选出包含纱布的视频片段, 根据纱布识别难度分为简单、正常、困难3类场景。标注人员在手术视频中逐帧标注纱布真值框。所有图像经过归一化、预处理后输入神经网络模型进行训练。神经网络输出纱布预测框, 若与真值框重合的交并比>0.5则判定为预测正确。观察指标:(1)视频标注及分类情况。(2)测试集神经网络测试结果。计数资料以绝对数或百分比表示。结果 (1)视频标注及分类情况:80个视频共26 893帧图像完成标注工作。其中训练集61个视频片段共22 564帧图像, 测试集19个视频片段共4 329帧图像。训练集19个视频中5 791帧图为简单难度场景, 38个视频中15 771帧图为正常难度场景, 4个视频中1 002帧图为困难难度场景。测试集4个视频中1 684帧图为简单难度场景, 6个视频中1 016帧图为正常难度场景, 9个视频中1 629帧图为困难难度场景。(2)测试集神经网络测试结果:神经网络模型对总体测试集中纱布识别的灵敏度和精确率分别为78.471%(3 397/4 329)和69.811%(3 397/4 866), 对简单难度测试集中纱布识别的灵敏度和精确率分别为94.478%(1 591/1 684)和83.168%(1 591/1 913), 对正常难度测试集中纱布识别的灵敏度和精确率分别为80.413%(817/1 016)和70.859%(817/1 153), 对困难难度测试集中纱布识别的灵敏度和精确率分别为60.712%(989/1 629)和54.944%(989/1 800)。手术视频实时运行时帧率≥15 fps。神经网络模型对总体测试集中纱布识别的漏报率和误报率分别为21.529%(932/4 329)和30.189%(1 469/4 866)。漏报主要原因为图像模糊、纱布暴露面积过小及纱布浸血严重, 误报主要原因为结缔组织、体液反光导致误识别。结论基于深度学习的纱布识别技术在腹腔镜胰腺手术中可行, 可协助医务人员识别纱布。