基于图学习的缺失脑网络生成及多模态融合诊断方法

融合大脑结构和功能网络的多模态脑网络能够挖掘不同模态间的互补信息,有效提高癫痫等神经系统疾病的诊断准确率,在神经疾病诊断上具有优势。然而,由于多模态数据采集时间长、成本高,在实际应用中常面临模态缺失问题,导致可用数据量减少,模型的诊断精度和泛化能力下降。针对某一模态数据完全缺失问题,提出了基于图学习与循环一致生成对抗网络(Cycle-consistent generative adversarial networks,CycleGAN)的图CycleGAN方法。该方法通过引入图卷积神经网络与图注意力机制等图学习方法捕捉脑网络不同脑区间的特征信息,强化生成框架对图形式脑网络的特征提取能力,实现脑结构网络与功能网络的相互生成。此外,针对目前较少利用诊断结果评估生成数据质量的情况,提出了一种融合真实脑网络与生成脑网络的多模态融合分类模型,以进一步评估生成脑网络的有效性。在癫痫数据集上的实验结果表明,图CycleGAN方法能够有效利用已有的模态信息,实现缺失脑网络的生成。

基于多视图自编码器的多被试者脑影像功能校准

功能磁共振成像(functional Magnetic Resonance Imaging,fMRI)研究面临的主要挑战之一是不同被试者fMRI数据的异质性。一方面,多被试数据分析对于确定所生成结果跨被试的通用性和有效性至关重要。另一方面,分析多被试者fMRI数据需要在不同被试者的神经活动之间进行准确的解剖和功能校准,以提升最终结果的性能。然而,现有大多数功能校准研究都采用浅层模型来处理多被试者间的复杂关系,这严重束缚了多被试信息的建模能力。为此,提出了一种基于多视图自编码器的功能校准(Multi-view Auto-encoder Functional Alignment,MAFA)方法。具体地,该方法通过重构不同被试者的响应空间来学习节点嵌入,捕获不同被试者之间共享的特征表示,从而创建一个公共的响应空间。此外,通过引入自训练聚类目标,利用高置信度节点作为软标签来监督图聚类过程。在4个数据集上的实验结果表明,相比其他多被试者脑影像功能校准方法,所提方法在解码精度方面取得了最佳效果。

基于多模态超声对比学习的肝癌诊断方法

近年来,肝癌已经成为严重威胁人类健康的疾病,多模态超声成像是其诊断的重要手段之一。与临床医生结合多模态超声诊断肝癌类似,利用多模态融合的方法集成各模态超声的影像特征有望提高肝癌诊断的准确性。然而,现有的多模态融合方法在融合过程中往往将各模态的特征信息孤立处理,未能充分考虑模态内的样本相似性和模态间的语义一致性,同时忽视了模态的不确定性。因此,提出了一种基于多模态超声对比学习的肝癌诊断方法,旨在充分利用各超声模态的特征信息,提高诊断准确率。该方法利用监督对比学习深入挖掘模态特征,捕获模态内同类样本之间的相似性信息和不同模态之间样本的语义一致性信息。此外,该方法基于主观逻辑引入了模态不确定度的度量,实现了模态信息的动态融合,具有较好的鲁棒性。多模态超声影像评估结果显示,本文提出的方法实现了85.21%诊断准确率,相较于主流的多模态融合方法性能得到了提升。

基于卷积神经网络和领域泛化的跨操作员认知负荷识别

基于脑电信号(EEG)的操作员认知负荷识别(CWR)在人机交互系统和被动式脑机接口中有重要价值,然而EEG的非稳态性和被试差异性极大阻碍了跨操作员CWR这一现实场景的快速应用。该文针对跨操作员CWR精度低等问题,提出一种基于卷积神经网络(CNN)和领域泛化(DG)的联合共享特征优化方法(CNN_DG)。该方法通过使用已有操作员(源域)的数据提高未知操作员(目标域)的CWR性能,其主要包括3个模块:深度特征提取器、标签分类器和领域泛化器。深度特征提取器学习可迁移的源域之间的共享知识表征;标签分类器进一步学习深层表征并预测负荷级别;领域泛化器通过与特征提取器进行对抗训练来减少源域间的数据分布差异,从而保证学习特征的共享性。该文在多属性任务组(MATB II)模拟飞行任务竞赛数据集1和2上进行两个三分类的跨操作员CWR实验,并采用留一被试交叉验证策略验证模型识别性能。实验结果表明所提CNN_DG方法显著优于比较方法,验证了其在跨操作员CWR领域的有效性和泛化性。