多期相CT合成辅助的腹部多器官图像分割

目的提出并探讨使用多期相CT合成辅助腹部多器官分割方法。方法提出多期相CT合成辅助腹部多器官分割,多期相CT能够充分提供同一器官不同的图像细节,从而为分割模型提供充分的全面的语义信息,提升腹部多个器官分割的性能。提出基于多头自注意力感知的多期相CT合成方法,引入基于多头自注意力机制的Transformer模块,提升合成网络捕捉长距离语义信息的能力,扩大网络的感受野,并且引入感知损失,在特征层面对合成图像与真实图像特征之间的差异最小化,与Transformer模块有协同作用,从而合成出更清晰、更高质量的多期相CT图像。结果使用南方医院的多期相CT数据集训练模型。其中用526例多期相CT训练合成模型,利用动脉期增强动脉CT(A.CECT)合成出平扫CT(NECT)、静脉期CECT(V.CECT)、延迟期CECT(D.CECT)的平均最大化绝对误差(MAE)分别为19.192±3.381、20.140±2.676、22.538±2.874,结合统计学对比,本文方法优于对比的其他图像合成方法(P<0.05)。多期相CT合成辅助的腹部多器官分割方法验证在内部验证集上进行验证平均Dice系数(DSC)为0.847,在外部验证集上进行验证平均DSC为0.823。结论本文方法能够合成出高质量的多期相CT图像以有效缓解不同期相CT之间存在的配准无法解决的误差问题,同时提高腹部13器官的分割性能,具有良好的泛化性能。

基于注意力机制和多模态特征融合的猕猴脑磁共振图像全脑分割

目的提出并探讨一种新的基于注意力机制和多模态特征融合的深度学习算法(DDAM),实现对猕猴脑MRI图像的全脑分割。方法共收集68例年龄分布在13~36月的多模态猕猴脑MRI图像数据,且均包含对应的真实标签。针对多模态数据信息复杂且互补的特点,采用多编码器结构分别适应不同模态并进行特征提取。在解码器部分引入注意力机制构建多模态特征融合模块(AMFF),利用模态间信息丰富且互补的特点,充分融合不同尺度和复杂度的多模态特征,进而提升分割性能。另外,进行消融实验分析并对结果进行统计学检验。结果多编码器结构以及注意力机制的引入能够有效地提升模型对多模态特征的融合能力,使得猕猴数据的全脑分割平均DSC达到0.904,ASD低至0.131(P<0.05)。消融实验结果验证了DDAM方法各组成部分的有效性。结论本文针对多模态数据特点构建深度学习算法模型,提出的DDAM方法,能够更有效地提取并融合多模态特征,从而实现全脑分割精度的显著提高。

基于正交视角X线图像重建的3D/2D配准方法

目的研究一种用于脊柱外科手术导航中术前CT图像与术中X线图像的3D/2D配准方法。方法本文构建了一个基于3D图像重建的3D/2D配准算法。该算法对2D正交视角X线图像进行3D图像重建,将问题转换为了3D/3D配准;结合了重建和配准两个任务构建端对端的框架,并最终在3D流形空间中度量测地距离完成配准。结果我们在公开数据集CTSpine1k上进行了实验。在两个具有不同大小初始配准误差的测试集上进行测试,对于较小初始误差的数据,达到了0.115°±0.095°的旋转估计误差和0.144±0.124 mm的平移估计误差;对于较大初始误差的数据,达到了0.792°±0.659°的旋转估计误差和0.867±0.701mm的平移估计误差。结论本文提出的方法能在满足实时需求的同时,实现鲁棒、精确的3D/2D配准,有望进一步提高脊柱外科导航性能。

基于多模态多示例学习的免疫介导性肾小球疾病自动分类方法

目的探讨如何利用多模态深度学习方法,联合光学显微镜(OM)、免疫荧光显微镜(IM)及透射电子显微镜(TEM)对应的3种图像进行免疫介导性肾小球疾病分类。方法基于273例患者的病理图像进行回顾性研究,构建多模态多示例模型对3种免疫介导性的肾小球疾病——免疫球蛋白A肾病(IgAN)、膜性肾病(MN)、狼疮性肾炎(LN)进行分类。该模型采用示例水平的多示例学习(I-MIL)方法挑选患者的TEM图像并与同一患者的OM图像和IM图像进行多模态特征融合。通过该模型与单模态、双模态模型的比较,探究3种模态之间的不同组合形式以及模态特征融合方式的特性。结果联合OM、IM以及TEM图像建立的多模态多示例模型准确率为(88.34±2.12)%,优于准确率为(87.08±4.25)%的最优的单模态模型,以及准确率为(87.92±3.06)%的最优的双模态模型。结论本研究成功建立基于OM、IM及TEM三种模态图像的多模态多示例模型,并验证了采用多示例学习结合多模态学习方法对免疫介导性肾小球疾病分类的有效性。

基于张量法的阿尔兹海默症脑图像分类

为了识别阿尔兹海默症(Alzheimer's Disease,AD)与轻度认知障碍(Mild Cognitive Impairment,MCI)患者,提出了一种基于三阶张量方法的以MRI图像脑灰质灰度为特征的分类方法。采集了70例AD患者,112例MCI患者(包含在随访中转化为AD的,MCI-C:MCI Converters与未转化为AD的,MCI-NC:MCI Non-converters各56例),以及70例正常人(NC)的MRI脑图像,提取脑灰质各体素的灰度,获得三阶灰度张量。采用基于张量的独立成分分析,以取得三阶灰度张量的独立成分;为了降低特征维数,利用支持张量机,将张量特征转化为向量特征,再利用递归特征消除法获取有效的主要特征。最后,对四组人群进行分类:AD-NC,MCINC,AD-MCI,MCI-C-MCI-NC,此分类模型采用7折交叉验证的方法进行训练测试。此外,还结合样本的基本信息与认知分数进行分类,证明了基本信息、认知分数和脑灰质灰度提供了互补的信息,有助于提升分类效果。结果表明,该方法拥有优良的分类性能,有助于对AD与MCI的诊断治疗。

基于动力学聚类与α散度测度的动态心肌PET图像因子分析

目的建立一种基于动力学聚类与α散度测度的因子分析方法,分析从动态心肌PET图像中无创地提取血输入函数及局部组织的时间活度曲线。方法通过最小化动态图像与因子模型间的α散度将动态PET图像做初步的分解,得到初始因子与因子图像,然后联合PET像素动力学聚类的先验信息解决因子分析模型中解的非唯一性问题,将初始因子与因子图像通过空间变换生成具有生理意义的组织活度曲线及组织空间分布。结果与传统的最小二乘法测度和最小化因子图像间重叠程度约束模型相比,本模型对噪声的敏感性较低,提取出的结果的精确性较高。结论通过选取最优的α值作为因子分析模型的测度,并引入PET图像像素的动力学聚类信息,能精确地获得血输入函数及局部组织的时间活度曲线,在视觉评价及量化评价均具有优质表现。

肾小球超微结构分割算法:基于区域级对比学习的深度模型

目的为了提高深度模型对电子显微镜图像中肾小球超微结构的分割性能,提出了一种基于超微结构语义相似性的区域级自监督对比学习方法USRegCon。方法USRegCon使用大量无标记数据对模型进行预训练,该预训练过程包括3个步骤:(1)模型对图像中超微结构信息进行编码和解码,并根据超微结构的语义相似性自适应地将图像划分为多个区域;(2)依据所划分的区域,使用区域池化操作提取出每个区域的一阶灰度区域表示和深度语义区域表示;(3)对于一阶灰度区域表示,构建了灰度损失函数,目标为最小化区域内的灰度差异和最大化区域间的灰度差异。对于深度语义区域表示,构建了语义损失函数,目标为最大化表示空间中正区域对的相似性和负区域对的差异性。这两个损失函数将联合对模型进行预训练。结果基于私有数据集GlomEM,USRegCon在肾小球滤过屏障三层超微结构的分割任务中,对基底膜、内皮细胞和足细胞均获得了良好的分割结果,Dice系数分别为85.69±0.13%、74.59±0.13%和78.57±0.16%。该结果优于现有的多种图像级、像素级和区域级自监督对比学习方法,并逼近基于大规模标记数据集ImageNet的全监督预训练方法。结论USRegCon促进模型从大量无标记数据中学习有益的区域表示,弥补了标记数据不足的缺陷,提升了模型对肾小球超微结构的识别和边缘分割能力。

aFaster RCNN:一种基于平扫CT的多疾病阶段胰腺病灶检测模型

目的研究基于平扫CT的胰腺病灶检测算法,实现低成本和精准的胰腺病灶自动检测。方法以Faster RCNN为基准模型,构建了名为advanced Faster RCNN(aFaster RCNN)的基于平扫CT胰腺病灶检测模型。该模型使用残差连接网络Resnet50为特征提取模块来提取胰腺病灶的深层图像特征;并针对胰腺病灶形态重新设计了9种检测锚框尺寸来构建RPN模块;同时,提出一种综合考虑病灶形状和解剖结构约束的新型Bounding Box回归损失函数来约束RPN模块回归子网络的训练过程;最后,利用第二阶段的检测器来生成检测框。模型使用来自国内四家临床中心的728例胰腺疾病患者进行训练(518例,约占71.15%)和测试(210例,约占28.85%);并通过消融实验,以及与3种经典目标检测模型SSD、YOLO和CenterNet进行比较的对比实验来验证aFaster RCNN的性能。结果aFaster RCNN胰腺病灶检测模型在测试集图像水平和病人水平上分别获得了73.64%、92.38%的召回率以及45.29%、53.80%的平均精度,均高于所有被比较模型。结论本文方法可以有效提取平扫CT中的胰腺病灶特征来检测胰腺病灶区域。

基于物理模型的级联生成对抗网络加速定量多参数磁共振成像

目的探讨基于物理模型的级联生成对抗网络使用原始的多回波多线圈k空间数据加速定量多回波多参数磁共振成像方法的可行性分析与解释。方法提出了一种基于物理模型的级联生成对抗网络,利用多域信息联合训练以及通过系统矩阵学习图像重建所需的关键参数,并自适应地优化k空间生成器和图像生成器结构来增强图像特征信息以获得高质量的重建图像。使用原始的多回波多线圈k数据加速多对比度多参数磁共振图像成像。提出了基于物理驱动的深度学习重建方法,通过建立系统矩阵函数而不是直接通过模型端到端训练的方式来增加模型的泛化能力和提高模型性能。结果在整体回波图像质量评价方面,该模型在80例测试集上的重建图像的平均PSNR值为34.13,SSIM为0.965,NRMSE为0.114,大幅度优于本文的其它对比方法。在多对比度多参数图像重建方面,该模型评估的PDW、T1W以及T2*Map的PSNR分别为38.87、35.62和34.38,在定量上也显著优于其它对比方法,并拟合出更为清晰的大脑灰质、白质和脑脊液特征。除此以外,在重建时间相差不到10%的前提下与现有的方法相比,本研究的方法对PSNR、SSIM和NRMSE的指标提升最高可达到20%。结论相比现有的方法,基于物理模型的级联生成对抗网络方法可以重建出更多的图像细节和特征,从而提高了图像的质量和准确性,并有望将其应用于临床诊疗流程中。

基于多序列MRI的3D关系注意力网络预测HLA-B27阴性中轴性脊柱关节病

目的建立一种新的3D多序列关系注意力网络,通过探索不同磁共振成像(MRI)序列图像的互补和相关信息,提升对人类白细胞抗原(HLA)-B27阴性中轴性脊柱关节病(axSpA)的诊断性能。方法回顾性收集2010年1月~2021年8月南方医科大学第三附属医院(TAH组)的375例和南海医院(NHH组)的49例HLA-B27阴性参与者(TAH组:164例axSpA,211例非axSpA;NHH组:27例axSpA,22例非axSpA)的两种参数MRI,包括T1加权图像(T1WI)和压脂序列MRI(FS-MRI),以及相关临床数据。提出一个基于多序列MRI的3D关系注意力网络MSFANet,实现对HLA-B27阴性axSpA与非axSpA的自动鉴别诊断。MSFANet由一个浅层共享特征模块和一个类感知特征学习模块组成,其中类感知特征学习模块采用3D多序列关系注意力机制对多序列MRI特征进行细化和融合。提出一种混合损失函数,通过学习不同支路的损失权重系数来提升MSFANet对序列特征的识别能力,从而增强分类性能。结果实验结果表明,MSFANet优于其它几种最先进的多序列融合算法,其中内部验证集上的AUC、准确度、敏感度和特异度分别达到了0.840,77.93%,83.70%和70.29%,独立外部验证集(NHH)上的上述性能分别达到了0.783,74.47%,82.43%和70.40%。各项差异均具有统计学意义(P<0.05)。此外,消融实验显示,相同框架下,MSFANet的性能优于基于单序列MRI的模型,证实了融合多序列MRI的有效性和必要性。深度可视化技术显示MSFANet在分类过程中集中于学习图像异常区域的信息。结论本研究成功构建基于多序列MRI的3D深度神经网络对HLA-B27阴性axSpA和非axSpA进行鉴别诊断,并验证了采用多序列关系注意力机制对提升网络分类性能的有效性。

投影数据恢复方法在低剂量脑灌注CT成像中的应用

目的在临床脑灌注CT检查中,对感兴趣区域进行连续动态扫描会使患者承受较大的射线剂量。为降低扫描辐射剂量,对脑灌注CT检查常采用降低扫描电流的形式,但降低射线剂量会使得图像质量严重受损,影响临床诊断。针对这种情况,本文采用一种基于惩罚加权最小二乘(PWLS)投影数据恢复的方法用于低剂量脑灌注CT的优质成像。方法该方法充分考虑脑灌注CT投影数据的统计分布特性,根据投影数据的统计特性进行建模,采用PWLS的方法进行数据恢复,然后利用高斯-赛德尔优化算法进行迭代求解。同时,该方法在原始投影数据和PWLS恢复后的投影数据之间引入自适应加权处理,可以更好地恢复投影数据。结果临床数据实验结果表明,基于惩罚加权最小二乘的投影数据恢复方法相比常规的处理方法,能够更好地去除脑灌注CT图像噪声和伪影,同时较好保持图像边缘和细节,提高脑灌注参数图成像质量。结论基于惩罚加权最小二乘的投影数据恢复方法能够更好地抑制脑灌注CT图像的噪声伪影,实现低剂量脑灌注CT优质成像。

影像组学在鉴别伴结石肾积水是否伴发肾细胞癌中的应用

目的利用有监督的机器学习方法探讨影像组学分析在鉴别伴结石肾积水是否伴发肾细胞癌中的应用。方法回顾性分析经病理确诊的66例伴结石肾积水患者的腹部CT扫描,其中31例伴发肾细胞癌。对每位患者的三维肿瘤区域提取18个非纹理特征和344个纹理特征,并应用无限特征选择技术(InfFS)结合支持向量机分类器的方法(SVM)进行特征选择。最后将最佳特征子集训练SVM分类器并对伴结石肾积水是否伴发肾细胞癌进行预测。结果 12个纹理特征入选最佳特征子集,且SVMInfFS对伴结石肾积水是否伴发肾肿瘤的预测结果如下:感受曲线下面积、准确率、敏感性、特异性、假阳性和假阴性分别为0.907、81.0%、70.0%、90.9%、9.1%和30.0%。临床医生以分类结果作为辅助信息进行诊断的结果如下:准确率、敏感性、特异性、假阳性和假阴性分别为90.5%、80.0%、100%、0.00%、20.0%。结论基于有监督机器学习的计算机辅助分类模型,可有效提取的辅助诊断信息,提高伴结石肾积水是否伴发肾细胞癌的诊断率。

血氧水平依赖磁共振成像评估急性马兜铃酸肾病大鼠肾脏氧合水平变化

目的利用7.0T小动物磁共振行血氧水平依赖(BOLD)磁共振成像(MRI)技术评估急性马兜铃酸肾病(AAN)大鼠肾脏氧合水平变化。方法 AAN组大鼠(n=18)连续6 d腹腔注射马兜铃酸I型溶液,剂量为40 mg/(kg·d),随机选取6只大鼠于注药前及注药后2、4、6 d进行BOLD MRI扫描,测量大鼠肾脏皮髓质的R2~*值,于上述时间点分别处死3只大鼠行肾脏病理检查。对照组(n=6)连续6 d腹腔注射PEG400溶液,磁共振扫描方案同AAN组大鼠,于注药后第6天处死3只大鼠行肾脏病理检查。结果第4天及第6天AAN组皮质及髓质R2~*值较对照组均升高(P<0.05)。AAN组皮质R2~*值第4天(P<0.05)及第6天(P<0.01)较注药前上升;AAN组髓质R2~*值随时间呈逐渐升高趋势,第2天R2~*值较注药前无统计学差异,第4天R2~*值继续升高(P<0.01),第6天显著高于注药前(P<0.05)。对照组各个时间点皮质及髓质R2~*值较注药前均无统计学差异。结论 BOLD MRI能够无创评估急性AAN大鼠肾脏氧合水平变化,随着AAN大鼠肾脏损伤的进展,定量参数R2~*值升高提示肾脏氧合水平降低,尤其是髓质,从而为临床治疗决策提供重要信息。

四维锥形束的CT重建:基于鲁棒主成分分析的运动补偿算法

目的为降低FDK图像中条形伪影对相位间运动变形场准确估计的影响,提出了基于鲁棒主成分分析(RPCA)的运动补偿重建算法。方法基于RPCA的运动补偿重建算法在传统的MC-FDK算法基础上针对运动变形场的估计进行改进,首先运用RPCA将锥形束CT图像分解为低秩和稀疏分量,再使用基于霍恩&舒克光流法对低秩图像进行不同相位图像间运动变形场估计,以此来降低原始图像中条形伪影对相位间运动变形场准确估计的影响。实验通过MATLAB软件编程对飞利浦16层螺旋CT获得的4D-CT图像以瓦里安EDGE加速器扫描几何进行反投影得到仿真体模数据,并使用Elekta Synergy系统的CBCT以半扇模式获得肺癌肿瘤患者的真实CB投影数据来验证算法性能。结果相比于传统的MC-FDK重建结果组织边界更加清晰,运动伪影减少;仿真数据重建结果显示本算法PSNR与SSIM较MC-FDK算法分别提高了25.4%与7.6%;与FDK算法相比分别提高了37.9%与17.6%。结论该方法可以实现相位间运动变形场的准确估计,改善锥形束CT图像重建质量。

“E骨”-反肩置换术一站式术前规划系统

目的为提高反肩置换术术前规划的精准度和效率,本研究开发了“E骨”—反肩置换术一站式术前规划系统。方法利用nnU-net深度神经网络进行肩胛骨分割,获得精确的肩胛骨分割结果;结合骨密度、上下倾角和入钉长度3个关键因素自动定位基座,并计算出手术规划所需定量参数;结合关节盂形态和基座定位信息生成个性化导板;编写系统界面,将各部分功能模块化组装便于使用,提供交互操作与规划结果显示的功能。结果构建出“E骨”术前规划系统。本系统与Mimics系统相比,减少了规划过程中繁琐的手动调整,平均入钉长度规划结果长于Mimics系统,且规划时间缩短86%。本系统肩胛骨分割精度达到99.93%,较Mimics更高。结论本研究为反肩置换术提供了一套一站式的高效、精准的术前规划方案,具有广泛的临床应用前景。