基于骨架关键关节构建时空金字塔模型的人体行为识别

针对当前骨骼数据信噪比低及特征信息不足的问题,提出人体关键关节构建时空金字塔模型的动作识别方法。该算法利用人体骨架关键关节构建空间域金字塔特征,保留骨架铰链系统的空间结构;利用多层级叠加协方差,构建时序金字塔特征,解决需要预处理视频序列长度的问题。在MSR-Action3D和UTKinect数据集上的实验结果表明,该方法准确率高、实时性好,可广泛应用于行为识别的各个领域。

基于稀疏编码的时空金字塔匹配的动作识别

针对复杂场景下的动作识别,提出一种基于稀疏编码的时空金字塔匹配的动作识别方法.通过稀疏编码的方法学习更具有判别性的码书和计算局部块(cuboids)的稀疏表示;然后基于max pooling的时空金字塔匹配进行动作分类.该方法在KTH和YouTube两大公开数据集上进行了评价,实验结果表明,与基于K-means的时空金字塔匹配方法相比,该方法提高了2%-7%左右的识别率,在复杂的视频中取得了较好的识别效果.

高显著性的时空金字塔精简描述符算法研究

当传统时空金字塔层数较多时,特征描述符的维数会非常高,使得此类描述符在训练和测试阶段计算效率非常低。此外,在时空金字塔的分层及每层立方体单元的划分中,至今仍然采用手动划分视频,使得视频划分策略没有强的理论依据。鉴于以上缺点,提出一种高显著性的时空金字塔精简描述符算法。形成的新描述符是所有时空金字塔层中每个立方体单元局部特征的权重和,而不是把所有立方体单元局部特征描述符串联起来形成一个巨大的特征描述符,每个立方体单元的权重可以通过偏最小二乘法自动获取,由此产生的视频全局描述符精简并且具有高的显著性。此外通过观测其精细立方体单元的权重,还可以展现出显著性时空金字塔每个立方体单元及每层金字塔的贡献,由此,可以根据权重自动划分视频。采用HMDB51和YouTube两个动作数据库进行实验验证,与时空金字塔描述符和超稀疏编码向量相比,此描述符精简并能在低维度下取得较好的识别效果。

基于深度序列的时空金字塔的动作识别

提出一种高效的人体动作识别方法。通过帧间差分法将深度序列的三视图转化为深度运动轮廓序列(DMOS),然后利用时空金字塔对DMOS进行时间维和空间维细分,将细分后得到的空间网格的局部方向梯度直方图(HOG)进行特征融合,并使用线性SVM分类。最后采用MSR Action 3D数据集对提出的算法在不同时空金字塔参数下的识别率和处理速度进行了评估,结果表明该方法在同类算法中具有更高的识别率。

融合协作表达和时空金字塔的人体行为识别

为了能够充分正确地利用视频数据从而保证直方图向量对行为的高描述性,提出了一种新颖、有效的人体行为识别算法.所提算法融合了协作表达方法和时空金字塔表示,并且采用引入局部限制的方式保持了局部特征与其相邻字典向量之间的相似性.协作表达的引入使得算法可以得到一个闭式,避免了在稀疏表示分类算法中因迭代造成的高时间复杂度问题,同时为了增强直方图向量的行为鉴别能力,算法巧妙地借助时空金字塔描述视频中特征的结构化分布.在KTH和Hollywood2人体动作数据集上的识别率分别可达96%和59.1%,明显高于其他对比算法.

基于时空注意力金字塔卷积的动作识别

动作识别算法需要从视频中提取空间和时域特征,对计算存储资源要求较高。基于2D CNN的网络更为轻量,但从视频中提取时域特征的能力较弱,动作识别性能通常受到限制。S-TPNet提出时空金字塔模块以获取图像序列的时间粒度特征,有效提升了基于2D CNN的动作识别网络的性能。基于S-TPNet,设计了时空注意力模型以凸显空间和时间上的重要特征。为降低输入数据量,通常抽取局部视频帧作为输入,为降低采样帧与整体视频之间的不稳定差异,设计了自适应等间隔采样策略。实验表明,在未预训练的情况下,本网络在UCF-101和HMDB-51数据集上分别将Top-1精度提高了5.1%和3.3%,并且不会大幅增加所需参数。

视频剪辑查询结合时空金字塔匹配的视频检索方法

针对视频检索系统中目标持续移动从而影响检索精度的问题,提出一种基于视频剪辑查询融合时空金字塔匹配(spatio-temporal pyramid matching,STPM)方法。借助基于特征分析和分类的片段编辑检测器将新的视频分割成多个片段,以元数据信息将视频片段存入数据库,利用基于逐帧特征结合弱分类器的boosting算法检测视频片段边界,针对新的查询视频进行分析和线上视频匹配,并利用时空金字塔匹配计算相关反馈值。在中佛罗里达大学(university of central Florida,UCF)数据集和You Tube运动视频上的实验验证了方法的有效性,实验结果表明,方法的平均精度可高达97.6%,相比其他几种较为新颖的匹配方法,取得了更好的检索性能。

基于时空特征金字塔网络的动作时序检测方法

针对帧级别预测网络结构中的动作时序检测提案不连续问题,提出基于时空特征金字塔网络的动作时序检测算法。在帧级别动作预测中,采用多个3D卷积反卷积网络,将空间特征维度降至1维,并将时间特征维度还原到相应的提案长度,得到不同时间尺度下的多个预测。采用非极大值抑制的方式融合多个子网络的预测,并用分类器进行帧级别动作分类,进而得到时序提案。在共享数据集THUMOS14上的实验结果表明,该算法有效地提高了动作的时序区域定位精度。

三维动作识别时空特征提取方法

针对传统的彩色视频中动作识别算法成本高,且二维信息不足导致动作识别效果不佳的问题,提出一种新的基于三维深度图像序列的动作识别方法。该算法在时间维度上提出了时间深度模型(TDM)来描述动作。在三个正交的笛卡尔平面上,将深度图像序列分成几个子动作,对所有子动作作帧间差分并累积能量,形成深度运动图来描述动作的动态特征。在空间维度上,用空间金字塔方向梯度直方图(SPHOG)对时间深度模型进行编码得到了最终的描述符。最后用支持向量机(SVM)进行动作的分类。在两个权威数据库MSR Action3D和MSRGesture3D上进行实验验证,该方法识别率分别达到了94.90%(交叉测试组)和94.86%。实验结果表明,该方法能够快速对深度图像序列进行计算并取得较高的识别率,并基本满足深度视频序列的实时性要求。

基于激光扫描和深度学习的人体动作精准识别研究

基于特征进行人体动作识别时,主要依靠短时间规模的时空特征,导致识别结果top-1值较低。因此,提出结合激光扫描技术和深度学习原理,设计有效的人体动作识别方法。针对激光扫描数据,进行去噪和校正处理。通过背景差分法划分静态背景与感兴趣区域,根据扫描数据点的连续性特点、空间位置关系,检测出待识别的人体目标。建立包含时空注意力机制的深度学习人体动作识别模型,获取扫描数据中包含的长期、复杂时空信息,得到融合特征输入融合域,得到初始分类结果。最后,结合决策融合机制,生成人体动作精准识别结果。实验结果表明:所提方法的top-1值为74.4%,与其他识别方法相比提升了30.7%、28.9%和24.2%。

人体下肢应激微反应自动识别

由于现有的动作识别方法不能直接用于人体微反应动作识别,本文基于人体下肢微反应动作特点,构建了一种时空金字塔韦伯局部描述子并设计了基于字典学习的人体下肢微反应自动识别算法。该方法利用时空金字塔韦伯局部描述子提取每一类人体下肢微反应动作特征,使用主成分分析法对特征降维;然后,建立每一类动作子字典并将子字典串联形成总的动作字典;最后,通过实验分析了金字塔级数L,降维后每类动作特征维数d_(PCA),每类动作子字典原子个数n_(Atom),以及稀疏阈值C等参数对识别结果的影响,并确定最优参数值L=3,d_(PCA)=30,n_(Atom)=40,C=10。实验结果表明,提出的算法对10种人体下肢微反应动作的识别率均在0.83~0.91之间,平均识别率达到0.86,高于其他动作识别算法。设计的算法更适用于人体下肢微反应动作分类,并可有效提高分类识别率。

基于图交互与场景感知融合的轨迹预测方法

在自动驾驶中,精确的环境感知和对周围交通参与者的轨迹预测对道路安全至关重要。基于此,提出了基于鸟瞰图(Bird Eye View, BEV)的实时端到端轨迹预测框架来同时学习交互和场景信息。该框架主要由图交互网络和金字塔感知网络两个模块组成,前者通过时空图卷积网络对交通参与者之间的交互模式进行编码,后者采用时空金字塔网络对周围信息进行场景建模以获取场景特征。然后,对交互特征和场景特征进行单一尺度融合,从而进行分类和轨迹预测任务。在大规模开源数据集NuScenes上的实验和分析表明,与当前先进算法(MotionNet)相比,所提框架平均类别准确度提高了3.1%,轨迹预测平均误差在行驶速度>5m/s时降低了1.43%。此实验结果表明,所提模型具有更好的泛化性和鲁棒性,更符合实际自动驾驶环境中的轨迹预测需求。

结构约束的全局目标函数视频修复方法

针对一致性修复方法仅利用视频的颜色和运动特征来优化目标函数,导致无法准确预测未知区域像素值的问题,将视频的结构信息引入到目标函数中,提出结构约束的视频修复方法.首先计算破损视频的时空金字塔,在从上到下的第1层金字塔中先修复破损部分边界上的像素;然后采用加权平均方式完成破损像素的重建,对权值重新定义,再更新边界,修复新边界上的像素,完成第1层金字塔的修复;最后用相同方法依次修复各层金字塔,直到所有破损像素都被修复.采用不同方法对不同复杂场景视频进行修复并用峰值信噪比和结构相似度进行评价,实验结果表明该方法取得了更好的视觉效果,峰值信噪比平均提高1～3 dB.

基于改进的深度神经网络的人体动作识别模型

针对现有人体动作识别方法需输入固定长度的视频段、未充分利用时空信息等问题,提出一种基于时空金字塔和注意力机制相结合的深度神经网络模型,将包含时空金字塔的3D-CNN和添加时空注意力机制的LSTM模型相结合,实现了对视频段的多尺度处理和对动作的复杂时空信息的充分利用。以RGB图像和光流场作为空域和时域的输入,以融合金字塔池化层的运动和外观特征后的融合特征作为融合域的输入,最后采用决策融合策略获得最终动作识别结果。在UCF101和HMDB51数据集上进行实验,分别取得了94.2%和70.5%的识别准确率。实验结果表明,改进的网络模型在基于视频的人体动作识别任务上获得了较高的识别准确率。

基于改进堆叠独立子空间分析模型的行为识别

视觉特征提取与特征表达方法在图像分类及识别中十分重要,从特征学习和特征表达角度出发,提出一种基于改进堆叠独立子空间分析模型提取特征的行为识别算法。首先采用两层独立子空间神经网络构建堆叠网络,在特征学习过程中融入正则化约束项,并结合时空卷积算法,获取视频时空层次化不变性特征基元;然后以堆叠卷积网络两层特征基元的非线性映射获取一种规则网格划分下的视频块状局部特征描述符;最后结合时空金字塔匹配模型构建时空层次特征,采用一对多支持向量机分类方法对视频中的动作进行分类。在KTH视频数据库中进行实验。结果表明,该算法学习到的特征基元可对视频构建低维高效的特征描述符,与现有多种行为识别算法进行对比,改进行为识别算法有效性进一步提高。

基于极限学习机的视频异常行为检测算法

利用极限学习机来构建底层特征-视觉属性-高层语义三层架构,提出利用视觉属性作为中间层,克服底层特征和高层语义之间的语义鸿沟。基于极限学习机模型的训练可通过无监督方式进行初始化,且能够实时更新,适应监控视频中的背景变化。实验证明本方法能取得更准确的异常检测结果。

基于特征密集计算与融合算法的教师课堂行为分析

针对传统网络结构不能充分利用数据中时空信息的问题,提出了一种时空金字塔池化模型,并将该模型与非局部特征计算操作相结合,设计了一种基于时空信息密集计算与融合的三维密集连接卷积神经网络,从而可以更有效地提取视频的时空特征。将该算法应用于课堂场景下教师行为的分析,实验结果表明,所设计的网络结构在教师行为数据集上达到了较高的识别准确率。