融合记忆模块与编解码框架的异常行为识别算法

大多基于深度学习的异常行为识别算法的主要思路是学习单一正常行为带有的特征,并在识别阶段用预测误差或重建误差判断当前帧是否存在异常行为,但由于正常行为的多样性,使得在识别阶段会对正常行为造成误判。为此,本文提出融合记忆模块与编解码框架的异常行为识别算法,通过引入记忆模块来存储多种正常行为的特征。实验表明,与最新的算法相比,本文的算法在公开数据集Avenue和ShanghaiTech Campus上的异常识别AUC分别提升了0.049和0.028。

基于视觉特征引导融合的视频描述方法

视频描述生成因其广泛的潜在应用场景而成为近年来的研究热点之一。针对模型解码过程中视觉特征和文本特征交互不足而导致描述中出现识别错误的情况,提出基于编解码框架下的视觉与文本特征交互增强的多特征融合视频描述方法。在解码过程中,该方法使用视觉特征辅助引导描述生成,不仅为每一步的生成过程提供了文本信息,同时还提供了视觉参考信息,引导其生成更准确的词,大幅度提升了模型产生的描述质量;同时,结合循环dropout缓解解码器存在的过拟合情况,进一步提升了评价分数。在该领域广泛使用的MSVD和MSRVTT数据集上的消融和对比实验结果证明,提出的方法的可以有效生成视频描述,综合指标分别增长了17.2和2.1个百分点。