深度嵌套注意力下的SlowFast信息融合动作识别网络

视频动作识别在视频监控、自动驾驶等多个领域都有着广泛的应用。SlowFast网络是视频动作识别领域经常使用的网络。目前SlowFast相关网络中使用注意力进行相关信息增强,注意力机制与网络的结合方式是将注意力机制嵌套到网络的各个卷积块之间,如果将注意力机制深层嵌套到卷积块的具体卷积层中,SlowFast网络的信息提取能力将更进一步。首先提出了一种深度嵌套注意力机制,该深度嵌套机制内部包含一种可以提取时空与通道信息的注意力SCTM,使SlowFast网络的3种信息提取能力得到了进一步加强。此外,目前多流网络融合的信息并没有充分的交互与处理。提出了一种基于交叉注意力与ConvLSTM的多流时空信息融合网络,使多流网络中每个流的信息充分交互。改进后的SlowFast网络在UCF101数据集上的Top-1准确率已达到98.5%,在HMDB51数据集中的准确率达到了80.1%。均优于目前已有的模型,比原始SlowFast网络提高了2.64%,且鉴于上述数据,深度嵌套注意力的SlowFast时空信息融合网络在信息提取与融合方面具有优越性能。

基于双特征嵌套注意力的方面词情感分析算法

针对目前方面词情感分析方法忽视了以方面词为核心的局部特征的重要性,并难以有效减小情感干扰项的负面噪声的问题,本文提出了一种带有基于变换器的双向编码器表示技术(bi-directional encoder representations from transformers,BERT)加持的双特征嵌套注意力模型(dual features attention-over-attention with BERT,DFAOA-BERT),首次将AOA(attention-over-attention)与BERT预训练模型结合,并设计了全局与局部特征提取器,能够充分捕捉方面词和语境的有效语义关联。实验结果表明:DFAOA-BERT在SemEval 2014任务4中的餐馆评论、笔记本评论和ACL-14 Twitter社交评论这3个公开数据集上均表现优异,而子模块的有效性实验,也充分证明了DFAOA-BERT各个部分的设计合理性。