一种多任务学习的跨模态视频情感分析方法

针对现有跨模态视频情感分析模型中模态融合不充分、空间复杂度较高以及较少考虑说话人本身属性对情感影响等问题,提出了一种结合多头注意力与多任务学习的跨模态视频情感分析模型。对视频进行预处理,得到视频、音频、文本三个模态的特征表示。将得到的特征表示分别输入到GRU网络以提取时序特征。利用所提出的最大池化多头注意力机制,实现文本与视频、文本与音频的两两融合。将融合后的特征输入到情感分类与性别分类多任务网络得到说话人的情感极性与性别属性。实验结果表明,所提模型能够较好地利用模态间的差异信息与说话人性别属性,在有效提升情感识别准确率的同时降低了模型的空间复杂度。

基于多模态融合的视频情感分析技术

介绍一种视频多模态情感识别方法。一个视频通常通过文本、声音和视觉图像等多模态信息来表达同一种情感主题,而如何将同一个视频中不同异构数据之间的信息融合并最大程度地利用是目前需要重点攻克的难题。通过互信息最大化的方法,高效融合视频中的文本、声音与视觉图像等多模态异构数据,尽可能多地消除模态之间的差异,最终实现对视频的情感进行识别分析。在公开的MOSEI多模态数据集上进行实验,实验结果显示MAE值达55.4。相比之前的一些模型,本模型效果更优,且实验模型构造不繁琐,为后面相关的研究打下良好的基础。

个性化视频情感内容分析:综述

个性化视频情感内容分析是近几年兴起的一个研究热点,其目的是基于视频用户的个人兴趣和爱好来向其推荐个性化的视频内容。然而,当前仍然缺乏对该研究方向的最新研究进展的综述和讨论。为解决此问题,从3个方面对该领域的研究成果进行论述,讨论了各类现有方法的优缺点、存在的问题和挑战,并对未来的研究方向提出一些思路和建议。

一种新的视频兴奋内容建模和视频摘要提取方法

本文对基于运动矢量的运动量的建模方法进行了修正,同时引入语速这种音频特征,在综合了镜头变换率和声音能量两个特征基础之上,提出了一种新的兴奋建模和视频摘要统一框架。在该框架之内,首先对视频的兴奋内容进行建模得到兴奋时间曲线,之后,依据曲线中的极大值和极小值提取关键帧和精彩片断两种形式的视频摘要。实验证明本文建模方法是有效的,提取的视频摘要能够有效表示视频的内容,且具有良好的面向用户性和自适应性。提取的关键帧的有效性达到78%,足球片断的精彩有效性和排序的有效性分别达到81%和82%,篮球片断的精彩有效性和排序的有效性分别达到75%和76%。