基于小波变换的运动分析及其应用

对捕获的运动数据进行编辑处理 ,是生成新的复杂人体动画和提高运动捕获数据重用性的关键 ,但目前大多数运动编辑技术不具备对运动进行高层控制处理的能力 ,为此 ,提出了一种基于小波变换的运动编辑新算法 ,即将小波变换引入运动编辑 ,并对运动信号进行多分辨率分析 ,从而实现了运动特征增强、运动融合及运动特征提取与综合 .实验结果表明 ,该算法非常适合对运动特征进行处理 ,由于其能够在高层次上对运动进行有效的编辑 ,因而提高了动画师的工作效率 .

用于视频行为识别的高效二维时序建模网络

二维卷积难以对视频数据进行有效的时间信息建模。针对这个问题,提出了一个高效的基于二维卷积的时间建模网络。该网络只需要RGB图像作为输入,避免了复杂的光流计算,在低计算复杂度的前提下,可以在行为识别任务中达到先进的准确性。网络主要由两个部分组成,即运动特征增强模块和时序聚集模块。具体来说,运动特征增强模块主要实现短期时序建模,它利用当前帧与相邻帧的差异信息对当前帧中的运动信息进行自适应性的增强,让网络能够了解图像中的哪一部分将要产生运动。时序聚集模块实现长期的时序建模,主要应用于网络的后期,通过二维卷积对时序上的信息进行信息聚合,让每一帧图像经过网络提取特征后,都能够结合时序上所有帧序列的信息。在三个常见的视频动作识别数据集(UCF101、HMDB51和Something-Something V1)上进行的大量实验表明,与大多数现有方法相比,所提出的时序建模网络可以获得先进的识别性能。