基于多模态交叉互动的情感识别算法

由于单模态情感识别的局限性,研究者已将其研究重点转移到多模态情感识别领域。多模态情感识别围绕最优提取每个模态的特征以及有效融合所提取出的特征这两方面问题进行研究。文中提出了一种基于多模态交叉互动的情感识别方法,以捕获模态表达的多样性。各种模态的编辑器分别提取具有情感信息的特征,模态间注意力机制堆叠的交互模块建模视觉-文本-音频之间的潜在关系。在基于文本、语音和图像的CMU-MOSI和CMU-MOSEI情感识别数据集上进行实验,结果显示在Acc2(Accuracy2)、Acc7(Accuracy7)、F1、MAE(Mean Absolute Error)和Corr(Correlation)这5个指标上文中方法分别取得了86.5%、47.7%、86.4%、0.718、0.776和83.4%、51.5%、83.4%、0.566、0.737的成绩,证明该方法性能具有显著提升,同时也验证了模态间交叉映射互相表示机制比各单模态表示方法具有更好的性能。

全脑解剖学标志稀疏关联的阿尔茨海默症诊断

阿尔茨海默症(AD)是一种复杂的神经退行性疾病,伴有记忆和其他精神功能的进行性损害,是造成老年人死亡的主要原因,如何对AD进行准确的诊断至关重要。根据生物学验证,已知人脑中的多个脑区在解剖学上和功能上是相互联系的,但现有的研究方法往往忽略了潜在的特征间的关系。因此,关注大脑不同区域的特征相关性有利于提高脑认知疾病的检测性能。本研究提出一种以数据驱动的方式自动识别全脑结构磁共振成像(sMRI)中解剖学标志点,并基于解剖点提取块特征,采用全局关联将各个块的特征进行深度融合,通过计算块与块之间的相互作用,实现大脑各个脑区的相互关联。其次,根据块之间的关联度差异,进行阈值化处理,利用稀疏关联模块去除冗余信息,进一步提高特征的判别能力,最后,利用稀疏后的深层特征构建分类模型,对AD患者个体进行预测。使用包含198例AD患者和224例健康人的ADNI-1数据集进行训练,包含152例AD患者和196例健康人的ADNI-2数据集进行测试,结果表明,该方法的准确率和灵敏度分别达到0.9368和0.9211,所提出的方法更多地考虑了块与块之间的联系以及关联度差异,可望更有效地对AD进行诊断。

互动新媒体业务生成系统技术框架与关键策略

归纳了互动新媒体业务的基本技术特点及其发展现状,分析了基于Web2.0/3.0的互动新媒体业务生成系统的关键技术策略,为推进互动新媒体产业发展提供了研究工作支撑。

基于数字双生的3D情景建模的教学方法实践——以“职业技能鉴定(钳工)”课程为例

职业技能鉴定(钳工)是针对铁道车辆钳工考证的一门专业拓展课,课程实践性强,但铁道车辆存在机械装置体积大、重量大、难分解、难组装等问题,传统的教学方式难以有效解决机械结构难理解与实践操作高要求之间的矛盾,基于3D情景建模的教学方法充分利用3D扫描和3D打印技术,实现了线上线下资源交互映射,加深了学生对内部结构的认知,提高了动手操作能力,提高了技能考试的合格率。

基于数字双生的3D情景建模的教学方法实践——以“职业技能鉴定(钳工)”课程为例

“职业技能鉴定(钳工)”是针对铁道车辆钳工考证的一门专业拓展课程,课程实践性强,但铁道车辆存在机械装置体积大、重量大、难分解、难组装等问题,传统的教学方式难以有效解决机械结构难理解与实践操作高要求之间的矛盾,基于3D情景建模的教学方法充分利用3D扫描和3D打印技术,实现了线上线下资源交互映射,加深了学生对内部结构的认知,提高了学生的动手操作能力,提高了技能考试的合格率。