目的 超声医师手动探查与采集胎儿心脏切面图像时,常因频繁的手动暂停与截图操作而错失心脏切面最佳获取时机。而单纯采用深层视觉目标检测或分类网络自动获取切面时,因无法确保网络重点关注切面图像中相对较小的心脏区域的细粒度特征,...目的 超声医师手动探查与采集胎儿心脏切面图像时,常因频繁的手动暂停与截图操作而错失心脏切面最佳获取时机。而单纯采用深层视觉目标检测或分类网络自动获取切面时,因无法确保网络重点关注切面图像中相对较小的心脏区域的细粒度特征,导致高误检率;另外,不同的心脏解剖部件的最佳成像时刻也常常不同步。针对上述问题,提出一种目标检测与分类网络相结合,同时融合关键帧间时序关系的标准四腔心(four-chamber,4CH)切面图像自动获取算法。方法 首先,利用自行构建的胎儿心脏超声切面数据集训练目标检测网络,实现四腔心区域和降主动脉区域的快速准确定位。接着,当检测到在一定时间窗内的视频帧存在降主动脉区域时,将包含四腔心目标的候选区域提取后送入利用自建的标准四腔心区域图像集训练好的分类网络,进一步分类出标准四腔心区域。最后,通过时序关系确定出可靠的降主动脉区域,将可靠降主动脉的检测置信度及同一时间窗内各个切面图像中四腔心区域在分类模型中的输出,加权计算得到标准四腔心切面图像的得分。结果 采用本文构建的数据集训练的YOLOv5x(you only look once version 5 extra large)和Darknet53模型,在四腔心区域和降主动脉区域的检测任务上分别达到94.0%的mAP@0.5和61.1%的mAP@[. 5∶. 95],以及69.5%的recall@0.5-0.95;在四腔心区域标准性分类任务上TOP-1准确率达到92.4%。将检测与分类模块结合后,系统对四腔心区域的误检率降低了29.38%。结论目标检测与分类网络相结合的策略及帧间时序信息的加入能够有效调和错检与漏检间的矛盾,同时大幅降低误检率。另外,所提算法除可自动获取标准的四腔心切面图像外,还可同时给出最佳切面,具有较好的实际应用价值。展开更多
目的为解决基于深度学习算法在执行胎儿四腔心超声切面图像质量评测时无法准确反映心脏区域中瓣膜与房室间隔及心室心房区域的可见程度问题,提出一种目标检测与两级分割相结合的胎儿四腔心超声切面图像质量评测方法。方法首先利用自行...目的为解决基于深度学习算法在执行胎儿四腔心超声切面图像质量评测时无法准确反映心脏区域中瓣膜与房室间隔及心室心房区域的可见程度问题,提出一种目标检测与两级分割相结合的胎儿四腔心超声切面图像质量评测方法。方法首先利用自行构建的胎儿超声切面数据集训练主流的YOLOv5x(you only look once v5x)模型,实现四腔心区域与胸腔区域的有效定位。当检测到四腔心区域在胸腔区域内时,将其视为感兴趣区域送入训练好的U2-Net模型,进一步分割出包含心房室及瓣膜的部分。然后利用形态学算子去除其外围可能存在的少许心脏外膜区域得到四腔心内区域后,通过直方图修正与最大类间方差法(OTSU)相结合的方法分割出瓣膜连同房室间隔区域,并通过减法操作得到心室心房区域的分割图。最后通过联合胎儿四腔心超声切面图像中瓣膜连同房室间隔与心室心房区域的面积之比、瓣膜与房室间隔区域以及心室心房区域的平均灰度构建评分公式与评分标准,实现胎儿四腔心超声切面图像质量的有效评测。结果在胸腔和四腔心区域的检测任务上的mAP@0.5、mAP@0.5-0.95和召回率分别为99.5%、84.6%和99.9%;在四腔心内部区域分割任务上的灵敏度、特异度和准确度分别为95.0%、95.1%和94.9%;所提质量评测方法在所构建的A、B、C三类评测数据集上分别取得了93.7%、90.3%和99.1%的准确率。结论所提方法的评测结果与医生主观评测结果相近,具有较好的可解释性,拥有良好的实际应用价值。展开更多
文摘目的 超声医师手动探查与采集胎儿心脏切面图像时,常因频繁的手动暂停与截图操作而错失心脏切面最佳获取时机。而单纯采用深层视觉目标检测或分类网络自动获取切面时,因无法确保网络重点关注切面图像中相对较小的心脏区域的细粒度特征,导致高误检率;另外,不同的心脏解剖部件的最佳成像时刻也常常不同步。针对上述问题,提出一种目标检测与分类网络相结合,同时融合关键帧间时序关系的标准四腔心(four-chamber,4CH)切面图像自动获取算法。方法 首先,利用自行构建的胎儿心脏超声切面数据集训练目标检测网络,实现四腔心区域和降主动脉区域的快速准确定位。接着,当检测到在一定时间窗内的视频帧存在降主动脉区域时,将包含四腔心目标的候选区域提取后送入利用自建的标准四腔心区域图像集训练好的分类网络,进一步分类出标准四腔心区域。最后,通过时序关系确定出可靠的降主动脉区域,将可靠降主动脉的检测置信度及同一时间窗内各个切面图像中四腔心区域在分类模型中的输出,加权计算得到标准四腔心切面图像的得分。结果 采用本文构建的数据集训练的YOLOv5x(you only look once version 5 extra large)和Darknet53模型,在四腔心区域和降主动脉区域的检测任务上分别达到94.0%的mAP@0.5和61.1%的mAP@[. 5∶. 95],以及69.5%的recall@0.5-0.95;在四腔心区域标准性分类任务上TOP-1准确率达到92.4%。将检测与分类模块结合后,系统对四腔心区域的误检率降低了29.38%。结论目标检测与分类网络相结合的策略及帧间时序信息的加入能够有效调和错检与漏检间的矛盾,同时大幅降低误检率。另外,所提算法除可自动获取标准的四腔心切面图像外,还可同时给出最佳切面,具有较好的实际应用价值。
文摘目的为解决基于深度学习算法在执行胎儿四腔心超声切面图像质量评测时无法准确反映心脏区域中瓣膜与房室间隔及心室心房区域的可见程度问题,提出一种目标检测与两级分割相结合的胎儿四腔心超声切面图像质量评测方法。方法首先利用自行构建的胎儿超声切面数据集训练主流的YOLOv5x(you only look once v5x)模型,实现四腔心区域与胸腔区域的有效定位。当检测到四腔心区域在胸腔区域内时,将其视为感兴趣区域送入训练好的U2-Net模型,进一步分割出包含心房室及瓣膜的部分。然后利用形态学算子去除其外围可能存在的少许心脏外膜区域得到四腔心内区域后,通过直方图修正与最大类间方差法(OTSU)相结合的方法分割出瓣膜连同房室间隔区域,并通过减法操作得到心室心房区域的分割图。最后通过联合胎儿四腔心超声切面图像中瓣膜连同房室间隔与心室心房区域的面积之比、瓣膜与房室间隔区域以及心室心房区域的平均灰度构建评分公式与评分标准,实现胎儿四腔心超声切面图像质量的有效评测。结果在胸腔和四腔心区域的检测任务上的mAP@0.5、mAP@0.5-0.95和召回率分别为99.5%、84.6%和99.9%;在四腔心内部区域分割任务上的灵敏度、特异度和准确度分别为95.0%、95.1%和94.9%;所提质量评测方法在所构建的A、B、C三类评测数据集上分别取得了93.7%、90.3%和99.1%的准确率。结论所提方法的评测结果与医生主观评测结果相近,具有较好的可解释性,拥有良好的实际应用价值。
