基于混合运动激励和时序增强的篮球运动员动作识别算法

为了解决在背景相似的篮球视频中提取特征级运动信息不充分和捕获长时序依赖关系困难等问题,从局部和全局的角度出发,提出一种混合运动激励和时序增强网络(mixed motion excitation and temporal enhancement network,MTE-Net),该网络由在时间建模上互补的混合运动激励(mixed motion excitation,MME)模块和时序增强(temporal enhancement,TE)模块构成。混合运动激励模块通过计算短距离视频帧之间混合的特征级差分来充分表征局部运动信息,并显性地对运动敏感通道进行激励。时序增强模块对长距离视频帧使用自注意力机制来构建时序关联函数并捕获时序之间的全局依赖关系,增强视频中的重要帧序列。在不额外引入光流和过多参数的情况下,在SpaceJam篮球动作数据集上的实验结果表明,与其他主流的动作识别算法相比,所提模型对篮球运动员动作识别的准确率更高。

用于视频行为识别的高效二维时序建模网络

二维卷积难以对视频数据进行有效的时间信息建模。针对这个问题,提出了一个高效的基于二维卷积的时间建模网络。该网络只需要RGB图像作为输入,避免了复杂的光流计算,在低计算复杂度的前提下,可以在行为识别任务中达到先进的准确性。网络主要由两个部分组成,即运动特征增强模块和时序聚集模块。具体来说,运动特征增强模块主要实现短期时序建模,它利用当前帧与相邻帧的差异信息对当前帧中的运动信息进行自适应性的增强,让网络能够了解图像中的哪一部分将要产生运动。时序聚集模块实现长期的时序建模,主要应用于网络的后期,通过二维卷积对时序上的信息进行信息聚合,让每一帧图像经过网络提取特征后,都能够结合时序上所有帧序列的信息。在三个常见的视频动作识别数据集(UCF101、HMDB51和Something-Something V1)上进行的大量实验表明,与大多数现有方法相比,所提出的时序建模网络可以获得先进的识别性能。

时空域融合的骨架动作识别与交互研究

在人体骨架结构动作识别方法中,很多研究工作在提取骨架结构上的空间信息和运动信息后进行融合,没有对具有复杂时空关系的人体动作进行高效表达。本文提出了基于姿态运动时空域融合的图卷积网络模型(PM-STFGCN)。对于在时域上存在大量的干扰信息,定义了一种基于局部姿态运动的时域关注度模块(LPM-TAM),用于抑制时域上的干扰并学习运动姿态的表征。设计了基于姿态运动的时空域融合模块(PMSTF),融合时域运动和空域姿态特征并进行自适应特征增强。通过实验验证,本文提出的方法是有效性的,与其他方法相比,在识别效果上具有很好的竞争力。设计的人体动作交互系统,验证了在实时性和准确率上优于语音交互系统。

基于小波变换的运动分析及其应用

对捕获的运动数据进行编辑处理 ,是生成新的复杂人体动画和提高运动捕获数据重用性的关键 ,但目前大多数运动编辑技术不具备对运动进行高层控制处理的能力 ,为此 ,提出了一种基于小波变换的运动编辑新算法 ,即将小波变换引入运动编辑 ,并对运动信号进行多分辨率分析 ,从而实现了运动特征增强、运动融合及运动特征提取与综合 .实验结果表明 ,该算法非常适合对运动特征进行处理 ,由于其能够在高层次上对运动进行有效的编辑 ,因而提高了动画师的工作效率 .

面向三维重建的增强运动一致性与引导扩散特征匹配

特征匹配是从图像恢复三维模型的关键步骤之一.为有效地提高三维重建的质量,提出一种面向三维重建的增强运动一致性与引导扩散特征匹配算法.首先在基于网格的运动统计算法基础上,通过增加阈值β,提出一种增强运动一致性概念,增强真假匹配点的判断条件,避免高相似特征点的误匹配,提高了初始匹配点的正确率;然后结合RANSAC算法进行特征点匹配优化,过滤掉异常值,进一步提高特征点匹配的准确性;最后将引导匹配和运动一致性相结合,提出一种引导扩散概念,减少了集中分布在图像局部的可能性,进而提高特征点匹配数量和三维模型的稳定性.在公开的三维重建数据集的618对图像上的实验结果表明,该算法在特征匹配和三维重建上能够实现更好的性能;在小于1°误差阈值的位姿估计成功率上,该算法比基于SIFT的比率测试算法和GMS算法分别平均提高了22.58%和12.90%,尤其在重复纹理图像对上分别提高了46.15%和30.77%.

利用运动向量嵌入概率增强特征的隐写分析方法

文中从隐写方法遵循的最小化失真或最大熵原则出发,将嵌入概率的最优分布作为先验知识来指导视频隐写分析。为更好地刻画运动向量的嵌入优先级,从视频的运动特征、纹理特征以及编码框架下的局部最优性定义失真函数,并利用Gibbs分布估计运动向量的嵌入概率。据此提出一种利用嵌入概率对检测特征进行定量增强的方法,并从相对熵的角度对增强的原理进行了解释。实验结果表明,3种经典的隐写分析算法在使用文中特征增强方法后,检测准确率均有提升,且对码率具有鲁棒性。与新型深度神经网络VSRNet检测方法的对比结果也验证了文中方法的有效性。