一种基于张量分解的医学数据缺失模态的补全算法

多模态磁共振影像数据采集过程中会出现不同程度的模态数据缺失,现有的补全方法大多只针对随机缺失,无法较好地恢复条状及块状缺失。针对此问题,本文提出了一种基于多向延迟嵌入的平滑张量补全算法分类框架。首先,对缺失数据进行多向延迟嵌入操作,得到折叠后的张量;然后通过平滑张量CP分解,得到补全的张量;最后利用多向延迟嵌入的逆向操作,得到补全的数据。该算法在BraTS脑胶质瘤影像数据集上进行了高低级别肿瘤分类实验,并与7种基线模型进行了比较。实验结果表明,本文提出方法的平均分类准确率可达91.31%,与传统补齐算法相比具有较好的准确性。

基于图学习的缺失脑网络生成及多模态融合诊断方法

融合大脑结构和功能网络的多模态脑网络能够挖掘不同模态间的互补信息,有效提高癫痫等神经系统疾病的诊断准确率,在神经疾病诊断上具有优势。然而,由于多模态数据采集时间长、成本高,在实际应用中常面临模态缺失问题,导致可用数据量减少,模型的诊断精度和泛化能力下降。针对某一模态数据完全缺失问题,提出了基于图学习与循环一致生成对抗网络(Cycle-consistent generative adversarial networks,CycleGAN)的图CycleGAN方法。该方法通过引入图卷积神经网络与图注意力机制等图学习方法捕捉脑网络不同脑区间的特征信息,强化生成框架对图形式脑网络的特征提取能力,实现脑结构网络与功能网络的相互生成。此外,针对目前较少利用诊断结果评估生成数据质量的情况,提出了一种融合真实脑网络与生成脑网络的多模态融合分类模型,以进一步评估生成脑网络的有效性。在癫痫数据集上的实验结果表明,图CycleGAN方法能够有效利用已有的模态信息,实现缺失脑网络的生成。

一种不确定模态缺失的多模态对抗虚假新闻检测框架

当前虚假新闻的检测方法已经从传统的单一模态数据分析转向了多模态数据融合技术的应用。然而现有的多模态虚假新闻检测方法未充分考虑到现实场景中可能存在的模态缺失问题。模态的缺失可能会导致无法完整地抽取和融合新闻特征,从而降低模型的性能。该文提出一种新的虚假新闻检测框架,该框架在多模态特征学习中,加入了一个模态鉴别器,其在与特征生成器进行对抗训练的过程中学习不同模态组合之间的迁移特征,实现了在不确定模态缺失场景下的虚假新闻检测。通过在真实数据集上进行实验证明,该文所提出的框架在不确定模态缺失场景下优于最新的多模态虚假新闻检测方法。

国际中文教育微课制作的模态缺失及改进方案

国际中文教育智慧化受到了学界的日益关注,各类软件的出现影响了国际中文教育的教学方式。目前,国际中文教育智慧化包含慕课、微课、翻转课堂等教学模式。微课教学模式以其短小简便、灵活高效且重点突出的特点备受广大师生的关注与喜爱。然而,在微课制作过程中,听觉、视觉、触觉、嗅觉等模态存在缺失的情况。为了解决这一问题,我们可以通过“物理突显”,增加“称呼语”,游戏互动,表情管理等改进方案提升学生学习效率并提升微课教学效果。