基于多模态大模型的动作识别关键技术研究与应用

随着ChatGPT的发布,各行各业开启探索、应用人工智能大模型的新时代。在海量数据、大规模算力和强大的算法优化能力等条件的支撑下,基于深度学习等技术的庞大神经网络模型问世,使自然语言处理、语音识别、计算机视觉等任务的处理得到了极大的改善。

基于胸部X线卷积神经网络模型诊断儿童不同病原体社区获得性肺炎

目的评价基于胸部X线卷积神经网络(CNN)模型诊断儿童不同病原体社区获得性肺炎(CAP)的价值。方法纳入1769例CAP患儿,根据病原学诊断分为病毒组(n=487)、细菌组(n=496)及肺炎支原体(MP)组(n=786),对比组间胸部X线征象的差异;将患儿以7∶1∶2比例随机分为训练集、验证集和测试集,对测试集患儿根据性别和年龄分为不同亚组进行分层分析。基于胸部X线片分割全肺和病灶ROI,分别训练全肺模型和局部模型,通过混淆矩阵评估2种模型的整体效能;绘制受试者工作特征(ROC)曲线,计算曲线下面积(AUC),评价2种模型诊断不同病原CAP的效能;采用Delong检验比较模型诊断效能的差异。结果3组病变累及范围、受累肺组织密度改变特点、肺过度通气及空洞差异均有统计学意义(P均<0.05)。全肺模型及局部模型诊断不同病原CAP的准确率分别为61.85%及58.04%,精确度分别为63.77%及54.05%。全肺模型和局部模型诊断MP性CAP的效能最佳,AUC分别为0.798及0.819;全肺模型诊断病毒及细菌性CAP的AUC均大于局部模型(P均<0.05)。全肺模型和局部模型诊断测试集中男性亚组和女性亚组不同病原CAP的AUC、诊断高年龄亚组和低年龄亚组病毒性及细菌性CAP的AUC差异均无统计学意义(P均>0.05),诊断高年龄亚组和低年龄亚组MP性CAP的AUC差异均有统计学意义(P均<0.05)。结论基于胸部X线片建立CNN模型诊断儿童不同病原体CAP的效能较好;全肺模型优于局部模型,2种模型均对MP性CAP诊断效能最佳。

影像组学的发展与应用

近年来大数据技术与医学影像辅助诊断的有机融合产生了新的影像组学方法，其通过从影像中提取海量特征来量化肿瘤等重大疾病，可以有效解决肿瘤异质性难以定量评估的问题，具有重要的临床价值。影像组学技术来源于计算机辅助诊断（computer aided diagnosis，CAD），目前已经发展成为融合影像、基因、临床等信息的辅助诊断、分析和预测的方法。影像组学作为医工交叉的产物，其应用先进的计算机方法解决临床具体问题，将有广阔的应用前景。笔者将对新兴的影像组学技术进行介绍，阐述影像组学的相关概念、具体处理流程及其面临的挑战、应用领域及未来的发展方向。