一种超声心动图关键帧智能检测方法

目的:探讨基于深度学习(deep learning,DL)的ResNet+VST模型在超声心动图关键帧智能检测方面的可行性。方法:选取南京大学医学院附属鼓楼医院超声医学科采集的663个动态图像含心尖二腔(apical two chambers,A2C)、心尖三腔(apical three chambers,A3C)与心尖四腔(apical four chambers,A4C)3类临床检查常用切面以及EchoNet⁃Dynamic公开数据集中280个A4C切面动态图像,分别建立南京鼓楼医院数据集与EchoNet⁃Dynamic⁃Tiny数据集,各类别图像按4∶1方式划分为训练集和测试集,进行ResNet+VST模型的训练以及与多种关键帧检测模型的性能对比,验证ResNet+VST模型的先进性。结果:ResNet+VST模型能够更准确地检测心脏舒张末期(end⁃diastole,ED)与收缩末期(end⁃systole,ES)图像帧。在南京鼓楼医院数据集上,模型对A2C、A3C和A4C切面数据的ED预测帧差分别为1.52±1.09、1.62±1.43、1.27±1.17,ES预测帧差分别为1.56±1.16、1.62±1.43、1.45±1.38;在EchoNet⁃Dynamic⁃Tiny数据集上,模型对A4C切面数据的ED预测帧差为1.62±1.26,ES预测帧差为1.71±1.18,优于现有相关研究。此外,ResNet+VST模型有良好的实时性表现,在南京鼓楼医院数据集与EchoNet⁃Dynamic⁃Tiny数据集上,基于GTX 3090Ti GPU对16帧的超声序列片段推理的平均耗时分别为21 ms与10 ms,优于以长短期记忆单元(long short⁃term memory,LSTM)进行时序建模的相关研究,基本满足临床即时处理的需求。结论:本研究提出的ResNet+VST模型在超声心动图关键帧检测的准确性、实时性方面,相较于现有研究有更出色的表现,该模型原则上可推广到任何超声切面,有辅助超声医师提升诊断效率的潜力。

一种射频芯片检测中的邦球邦线识别方法

针对引线键合效果的判定,本文提出了一种基于AI的AOI检测射频芯片引线键合效果的邦球邦线识别方法。该方法根据邦球邦线识别任务特点,改进了Mask R-CNN中特征金字塔层先验框生成机制,同时引入了基于碰撞检测的数据增强方式,提升了网络性能和效率,降低了人工标注成本。结果表明,改进后的Mask R-CNN模型可获取射频芯片中邦球和邦线的准确分割位置,mAP为85.23%,mIoU为71.27%,单幅射频芯片图像推理耗时约为1.168 s,基本满足生产中对于射频芯片装配精度以及速度的要求。通过本方法分割出邦球邦线,可辅助引线键合效果判断,在一定程度上提升了效率降低了人工成本。

基于深度学习的超声心动图动态图像切面识别研究

目的提出一种基于深度学习的切面识别模型SlowFast-Echo,进行二维经胸超声心动图动态图像的切面类型自动识别。方法选取2022年8月至12月在南京大学医学院附属鼓楼医院超声医学科完成二维经胸超声心动图检查的722例受检者(含心尖二腔、心尖三腔与心尖四腔等9类临床检查常用切面,共2243个动态图像),各类切面图像按照5∶2∶3的比例划分为训练集、验证集和测试集。进行SlowFast-Echo模型的训练和验证后,以准确率、精度、召回率、F1分数对模型的切面识别性能进行定量评价,以类激活映射图对模型的可解释性进行定性评价,以模型实地部署到超声医学科后的表现进行实用性评价。结果SlowFast-Echo模型对测试集动态图像切面类型预测的整体准确率、精度、召回率与F1分数分别为0.9866、0.9847、0.9872与0.9859;显著性热力图表明模型关注区域与超声科医师基本一致,如模型准确地定位到了肋骨旁短轴大血管水平切面(PSAXGV)显著的主动脉及主动脉瓣、胸骨旁短轴二尖瓣水平切面(PSAXMV)的二尖瓣与胸骨旁短轴乳头肌水平切面(PSAXPM)的乳头肌。实地部署后模型切面识别的整体准确率、精度、召回率与F1分数分别为0.9903、0.9865、0.9868与0.9865;在RTX 3060 GPU上单个动态图像的平均推理时间平均值为(303.2±119.3)ms,基本满足采图后即时处理的临床需求。结论本研究提出的SlowFast-Echo模型有着良好的二维经胸超声心动图动态图像切面识别性能与推理实时性,实用性较强,具有较好的应用前景。