基于多视角学习的时序多模态情感分类研究

针对多模态融合效果不佳,不能充分挖掘特定时间段,多视角关键情感信息的问题,提出了一种基于多视角的时序多模态情感分类模型,用于提取特定时间段,多视角下的关键情感信息。首先,对文本标题及文本内容两种视角下的数据进行低维空间词嵌入和序列表达,提取不同视角的多模态时序特征,对图片截取,水平镜像两种视角下的数据进行特征提取;其次,采用循环神经网络构建多模态数据的时序序列交互特征,增大互信息;最后,基于对比学习进行联合训练,完成情感分类。该模型在两个多模态情感分类基准数据集Yelp和Mutli-Zol上评估,准确度分别为73.92%、69.15%。综合实验表明,多视角的特定时间段多模态语句序列可提升模型性能。

基于跨模态融合ERNIE的多模态情感分析研究

针对情感分析主要集中于单模态文本数据,忽略多模态数据融合问题,通过结合屏蔽多模态注意力方式,提出跨模态融合ERNIE的情感分析模型(CM-ERNIE)。首先,使用CNN和BiGRU提取音频数据特征以及词向量提取文本序列特征;其次,通过屏蔽多模态注意力作为CM-ERNIE的核心单元动态调整文本和音频数据权重,最后,文本和音频模态的交互作用微调预训练ERNIE模型。该模型在多模态电影评论观点数据集CMU-MOSEI和CMU-MOSI上评估。实验表明,模型在多模态数据集CMU-MOSEI和CMU-MOSI上评估该模型比单模态情感分析模型准确度高,并且多模态情感分析的研究蕴含巨大的价值,可为多模态场景下的情感分析、舆情分析和意图识别等实际应用问题提供决策支持。

融合双通路注意力与VT-LSTM的金融时序预测

针对现有研究对金融时序数据短期变化规律捕捉能力不足和预测精度不佳的问题,提出一种基于双通路注意力机制和改进转换门控LSTM(variant transformation-gated LSTM,VT-LSTM)的金融时序预测模型(dual-attention MDWT-CVT-LSTM)。使用多级离散小波变换(MDWT)分解股指序列得到高频和低频数据,并在融合门控单元的LSTM中加入转换门控机制,构造VT-LSTM,其能有效把控短期突变信息。在双通路注意力网络中结合VT-LSTM与一维时序卷积(Conv1D),分别提取不同频度数据的空间局部特征和时序特征,对各子序列进行预测,实现多层级多通路的预测研究。在金融股指数据集和个股数据集上对不同模型进行实验比较,结果表明提出模型预测精度优于其他方法,有良好的可行性。

基于BERT-VGG16的多模态情感分析模型

针对传统情感分析方法只采用文本数据无法充分挖掘情感信息,且单模态数据包含的信息量有限,不能很好反映真实情感状态等问题,提出一种引入注意力机制的多模态情感分析模型。首先,该模型使用预训练模型BERT和VGG16分别从文本数据和图像数据中提取特征。其次,为提高各模态重要特征权重,特征融合时引入注意力机制,融合后的模型可大幅提升数据信息量。实验结果表明,使用基于BERT-VGG16引入注意力机制的多模态特征融合模型比单模态和其他多模态特征融合模型在情感分析效果上有显著提升。