基于空-频域差值与超分辨率反馈网络的乳腺微钙化区域检测技术

乳腺癌的早期症状在乳腺钼靶图像中主要表现为微钙化点,微钙化区域的真假阳性检测对于乳腺癌早期筛查具有重要意义。首先,对DDSM乳腺数据集中的图像进行预处理,去除噪声及无关组织干扰;其次,基于空-频域差值图像技术实现了疑似微钙化点的分割,取得的敏感性为91.00%,但假阳性率也较高(34.00%),并根据疑似点的质心位置自动截取感兴趣区域;然后,通过超分辨率反馈网络算法进行微钙化区域超分辨率重建;最后,提取感兴趣区域的纹理特征,将GentleAdaBoost算法和单层决策树算法相结合,构建强分类器GAB-DS对区域进行分类,将微钙化区域和正常组织分离开来,GAB-DS分类模型取得了96.25%的准确率、94.38%的敏感性以及98.13%的特异性。实验结果表明,该模型在微钙化区域检测上性能优越,可用于辅助临床乳腺癌检测及诊断,具有一定的临床应用价值。

基于多特征融合与XGBoost的肺结节检测

为了提高肺结节检测的精确度和效率,提出一种基于多特征融合和XGBoost的肺结节检测模型。首先采用阈值分割与形态学运算,获得候选结节区域;然后通过基于超分辨率重建的卷积神经网络进行候选结节的特征增强;其次采用快速鲁棒特征、灰度共生矩阵、灰度不变矩的提取方法获得候选结节的局部与全局的多种特征,采用词袋模型进行降维并融合;最后利用XGBoost-决策树分类模型去除假阳性结节,完成肺结节的检测。在LIDC-IDRI数据上进行的实验表明该模型能达到97.87%的准确率和97.92%的召回率。该模型可用于辅助医生进行肺结节诊断,具有一定的临床应用价值。

基于记忆驱动的多模态医学影像报告自动生成研究

医学影像报告自动生成任务面临疾病类型多样、报告描述缺乏专业性和流畅性等多重挑战。为解决以上问题,本文提出一种基于记忆驱动的多模态医学影像报告自动生成方法(mMIRmd),首先使用基于移位窗口的层次视觉转换器(Swin-Transformer)提取患者医学影像的多视角视觉特征,通过基于转换器的双向编码模型(BERT)提取病史信息的语义特征,然后将多模态特征进行融合,提高模型对不同疾病类型的识别能力。其次,使用医学文本预训练的词向量词典对视觉特征标签进行编码,以提高生成报告的专业性。最后,在解码器中引入记忆驱动模块,解决医学影像数据中的长距离依赖关系。本研究在印第安纳大学收集的胸部X光数据集(IU X-Ray)和麻省理工学院联合马萨诸塞州总医院发布的重症监护X光医疗数据集(MIMIC-CXR)上进行验证。实验结果表明,本文所提方法能更好地关注患病区域,提高生成报告的准确性与流畅性,可以辅助放射科医生快速完成医学影像报告的撰写。

视觉Transformer预训练模型的胸腔X线影像多标签分类

目的基于计算机的胸腔X线影像疾病检测和分类目前存在误诊率高,准确率低的问题。本文在视觉Transformer(vision Transformer,ViT)预训练模型的基础上,通过迁移学习方法,实现胸腔X线影像辅助诊断,提高诊断准确率和效率。方法选用带有卷积神经网络(convolutional neural network,CNN)的ViT模型,其在超大规模自然图像数据集中进行了预训练;通过微调模型结构,使用预训练的ViT模型参数初始化主干网络,并迁移至胸腔X线影像数据集中再次训练,实现疾病多标签分类。结果在IU X-Ray数据集中对ViT迁移学习前、后模型平均AUC(area under ROC curve)得分进行对比分析实验。结果表明,预训练ViT模型平均AUC得分为0.774,与不使用迁移学习相比提升了0.208。并针对模型结构和数据预处理进行了消融实验,对ViT中的注意力机制进行可视化,进一步验证了模型有效性。最后使用Chest X-Ray14和CheXpert数据集训练微调后的ViT模型,平均AUC得分为0.839和0.806,与对比方法相比分别有0.014~0.031的提升。结论与其他方法相比,ViT模型胸腔X线影像的多标签分类精确度更高,且迁移学习可以在降低训练成本的同时提升ViT模型的分类性能和泛化性。消融实验与模型可视化表明,包含CNN结构的ViT模型能重点关注有意义的区域,高效获取胸腔X线影像的视觉特征。