融合球空间下旋转角度编码的人体动作识别

针对现有的人体动作识别方法较多考虑骨架结构的坐标和位移等平移信息,较少关注代表骨架结构的运动趋势以及代表关节、骨骼运动方向的旋转信息,提出一种融合球空间下旋转角度编码的时空卷积神经网络方法。通过人体动作在三维球空间中的映射,获取具有尺度不变性的角度信息,提取其动态角速度信息作为角度编码,表征动作轨迹中关节点和骨骼边的旋转信息;构建了时空特征提取与共现模块来更好地捕获数据的时空特征;用合适的融合策略对平移特征和旋转特征进行运动特征融合。实验结果证明了旋转角度编码有利于提升运动表征的准确性,以及时空特征提取与共现模块的有效性。

基于时空注意图卷积的人体动作识别

针对基于骨骼数据的人体动作识别中关键节点及特征应用度不高的问题,构建一种基于时空图卷积和通道-空间联合注意力模块融合改进的人体动作识别系统。算法首先通过空间图卷积获得结构化特征,由通道-空间联合注意力模块强化关键节点和关键结构信息,再由时间图卷积获取高级时空特征,最后用全局池化层和softmax分类器得出识别结果。实验结果表明,在关键节点和结构特征得以强化的同时,也保留了原始特征信息。该算法在基于骨骼数据的人体动作识别上具有更高的精度。

深度图像与骨骼数据的多特征融合人体行为识别

运动人体的行为分析与识别是智能监控中的关键技术,研究有效的人体行为对智能视频推广与应用具有重要意义.为发挥深度图像与骨骼数据的优越性,将深度特征与骨骼特征结合进行人体行为识别,提出一种基于深度信息和骨骼数据的特征融合的人体行为识别方法.在深度图像方面捕捉行为线索,提取人体行为梯度、轮廓曲率的几何特征;在骨骼数据方面提取运动节点的多种特征,用人体行为轮廓比、角度差和距离差表征行为形态,达到结果只与行为分布有关的目的;运用一种多模型概率投票的识别分类机制,减小噪声对实验结果的影响.实验表明,该方法能够有效识别人体行为.

自动匹配虚拟人模型与运动数据

使用运动数据驱动虚拟人模型运动是人体运动仿真的常用方法.通常,运动数据本身定义了适合该运动数据的骨架结构,这要求被其驱动的虚拟人模型也必须有相匹配的骨架定义.提出了一种推迟到运动数据导入时再为模型生成骨架结构的基于语义分析的懒匹配算法(lazymatchbasedonsemanticanalysis,简称LMSA),该算法先用一组平行平面切分人体模型以生成备选关节点集,并在导入运动数据后对备选关节点集和运动数据的骨架结构进行语义分析,匹配具有相同语义的备选关节点和骨架结构的各关节,使已有的虚拟人几何模型能够直接应用于具有不同骨架结构的人体运动数据.

基于深度信息的人体动作识别研究综述

随着低成本深度传感器的发明,尤其是微软Kinect的出现,高分辨率的深度与视觉(RGB)感知数据被广泛使用,并为解决计算机视觉领域中的基本问题开拓了新的机遇。本文针对基于深度信息的人体动作识别研究,首先提出了一种基于特征和数据类型的分类框架,并对最近几年提出的相关方法进行了全面回顾。随后,对文献中描述的算法进行了性能对比分析,同时对所引用的公共测试数据集进行了总结。最后,笔者对未来的研究方向进行了讨论并给出了相关建议。

人体运动数据重构方法进展

运动捕捉系统产生的人体运动数据是标记点在运动序列中的位置数据,用于驱动人体模型产生真实感的动画。在对近几年有关人体运动数据重构的文献进行综合和分析的基础上,首先对人体运动数据重构进行了问题描述,并对人体运动数据在重构过程中难以避免的噪声问题和特征点(虚拟空间中的标记点)缺失问题的研究分别进行了总结和分析;然后对人体运动数据获取的光学式原型捕捉系统开发的研究进行了讨论,评述了人体运动数据驱动人体几何模型的相关研究;最后对未来研究提出了一些展望。

基于GCN的局部增强人体骨骼行为识别算法

为使人体骨骼这种非欧几里得结构数据更好地应用于人体行为识别任务中,将多种模态的特征融合后作为模型的输入,探讨关节的全局与局部的信息共现性,构建一个完整的空间信息推理模型。通过使用多层时间膨胀卷积网络提取骨骼数据在时间维度中的上下文依赖关系,使模型可以兼具捕获短期和长期的时序上下文依赖关系,有效提高时间信息的提取能力。提出的分层次时空图卷积神经网络模型在NTU-RGB+D-60和NTU-RGB+D-120数据集上均取得了较好的识别准确率。

基于动态拓扑图的人体骨架动作识别算法

传统的人体骨架动作识别算法采用手动构建拓扑图的方式来建模包含在多个视频帧中的动作序列,并针对性地学习每个视频帧以反映数据变化,这容易造成计算代价大、网络泛化性低和灾难性遗忘等问题。针对上述问题,提出了基于动态拓扑图的人体骨架动作识别算法,使用持续学习思想动态构建人体骨架拓扑图。将具有多关系特性的人体骨架序列数据重新编码为关系三元组,并基于长短期记忆网络,通过解耦合的方式学习特征嵌入。当处理新骨架关系三元组时,使用部分更新机制动态构建人体骨架拓扑图,并采用基于时空图卷积网络的骨架动作识别算法来实现动作识别。实验结果表明,所提方法在Kinetics-Skeleton,NTU-RGB+D(X-Sub)和NTU-RGB+D(X-View)基准数据集上分别取得了40%,85%和90%的识别准确率,提高了人体骨架动作识别的准确率。

基于深度图像的人体骨骼点跟踪矫正方法

针对人体运动骨骼跟踪中由于遮挡经常出现的骨骼点漂移和偏离现象,提出一种部位圆限定方法来矫正和优化骨骼点坐标。该方法通过滤波和人体像素分类、部位识别,重新确定了Kinect SDK骨骼跟踪系统的20个关节点坐标。这一方法不易受外界环境因素的干扰,能较好地克服部位遮挡问题,从而获得高质量的跟踪图像。

骨架数据增强和双重最近邻检索自监督动作识别

传统基于骨架数据的自监督方法常将某一样本的不同增强作为正例,将其余样本均视为负例,这使得正负样本的比例严重失衡,限制了相同语义信息的样本发挥作用。针对上述问题,提出了一种正样本不受数据增强限制的双重最近邻检索动作识别算法DNNCLR。首先,基于人体关节的物理连接设计了一个新的关节级空间数据增强,即Bodypart增强,对输入的骨架序列用正态分布数组随机替换,以获得高级语义嵌入;其次,为避免正样本受数据增强的限制,提出了一种更合理的双重最近邻检索(DNN)正样本扩充策略,进一步提出了双重最近邻检索对比损失DNN Loss。具体为利用支撑集进行全局检索,将正样本集的寻找范围扩展到普通数据增强无法覆盖的新数据点;而负样本集中存在被误判的正样本,其是来自不同视频但语义信息相同的骨架样本。为此,再一次利用最近邻检索,从负样本集中寻找这种潜在的正例,二次扩展正样本集,并进一步提出双重最近邻检索对比损失,迫使模型学习更多的一般特征表示,使得模型优化更加合理。最后,将DNNCLR算法应用在AimCLR模型上,得到AimDNNCLR模型,并在NTU-RGB+D数据集上对该模型进行了线性评估,与前沿模型相比,所提方法在精度上平均提升了3.6%。

面向人机交互的通道注意力位移图神经网络

在人机交互动作识别领域中,基于深度学习的动作识别方法比传统的手工特征提取方法准确率更高.为了解决基于深度学习的动作识别方法在实时人机交互的实际应用问题,本文设计并创建了交互动作数据集(IA RGB-D),用于深度学习方法的人体动作识别研究.将IA RGB-D用于多种神经网络的训练和测试,测试结果准确率均在95%以上,验证了数据集的正确性和有效性.为保障对采集动作的实时识别正确率,本文提出了一种基于高效通道注意力的位移图神经网络(ASGCN),将高效通道注意力模块引入位移图卷积神经网络(Shift-GCN),增强其在通道特征上的提取能力.实验证明,ASGCN比Shift GCN准确率更高,提高了复杂动作的识别率,并且与传统的手工特征提取方法对比,识别效率接近但是准确率大幅提升.

基于跨尺度图对比学习的人体骨架动作识别方法

传统基于人体骨架的自监督学习方法常用对比学习模块进行表征学习,而现有对比学习模块使用数据增强方法来构建相似的正样本,其余样本皆为负样本,这限制了同类样本的语义信息表达。针对上述问题,提出一种图对比学习与跨尺度一致性知识挖掘的动作识别算法。首先,基于骨架图结构设计了一种新的数据增强方法,对输入的骨架序列进行随机边裁剪,得到两个不同的扩增视图,加强了同一骨架序列不同视图间的语义相关性表达;其次,为缓解同类样本嵌入相似度较低的问题,引入自监督协同训练网络模型,利用同一骨架数据源的不同尺度间的互补信息,从一个骨架尺度获取另一个骨架尺度的正类样本,实现了单尺度内关联及多尺度间语义协同交互;最后,基于线性评估协议对模型效果进行评估,在NTURGB+D60与NTURGB+D120数据集的实验结果表明,本文所提方法在识别精度上较前沿主流方法平均提升了2%~3.5%。

基于RGB和关节点数据融合模型的双人交互行为识别

基于RGB视频序列的双人交互行为识别已经取得了重大进展,但因缺乏深度信息,对于复杂的交互动作识别不够准确。深度传感器(如微软Kinect)能够有效提高全身各关节点的跟踪精度,得到准确的人体运动及变化的三维关节点数据。依据RGB视频和关节点数据的各自特性,提出一种基于RGB和关节点数据双流信息融合的卷积神经网络(CNN)结构模型。首先,利用Vibe算法获得RGB视频在时间域的感兴趣区域,之后提取关键帧映射到RGB空间,以得到表示视频信息的时空图,并把图送入CNN提取特征;然后,在每帧关节点序列中构建矢量,以提取余弦距离(CD)和归一化幅值(NM)特征,将单帧中的余弦距离和关节点特征按照关节点序列的时间顺序连接,馈送入CNN学习更高级的时序特征;最后,将两种信息源的softmax识别概率矩阵进行融合,得到最终的识别结果。实验结果表明,将RGB视频信息和关节点信息结合可以有效地提高双人交互行为识别结果,在国际公开的SBU Kinect interaction数据库和NTU RGB+D数据库中分别达到92.55%和80.09%的识别率,证明了提出的模型对双人交互行为识别的有效性。

基于轻量级图卷积的人体骨架动作识别方法

视频中的人体动作识别在计算机视觉领域得到广泛关注,基于人体骨架的动作识别方法可以明确地表现人体动作,因此已逐渐成为该领域的重要研究方向之一。针对多数主流人体动作识别方法网络参数量大、计算复杂度高等问题,设计一种融合多流数据的轻量级图卷积网络,并将其应用于人体骨架动作识别任务。在数据预处理阶段,利用多流数据融合方法对4种特征数据流进行融合,通过一次训练就可得到最优结果,从而降低网络参数量。设计基于图卷积网络的非局部网络模块,以捕获图像的全局信息从而提高动作识别准确率。在此基础上,设计空间Ghost图卷积模块和时间Ghost图卷积模块,从网络结构上进一步降低网络参数量。在动作识别数据集NTU60 RGB+D和NTU120 RGB+D上进行实验,结果表明,与近年主流动作识别方法ST-GCN、2s AS-GCN、2s AGCN等相比,基于该轻量级图卷积网络的人体骨架动作识别方法在保持较低网络参数量的情况下能够取得较高的识别准确率。

基于图卷积的3D骨架数据的双人交互行为识别

针对图卷积神经网络的双人交互行为识别方法存在交互语义信息表达不充分的问题,提出了一种新的双人交互时空图卷积神经网络(DHI-STGCN)用于行为识别的方法。该网络包含空间子网络模块和时间子网络模块。将基于交互动作视频获取的3D骨架数据生成一种双人交互动作的空间动作图用于空间信息的表示,图中根据关节点位置信息对双人之间的连接边赋予不同的权重。时间信息处理中,在构造的邻接矩阵中增加了上下文时间信息的联系,图中关节点与其一定时间范围内的节点增加连接。将生成的时空图数据送入空间图卷积网络模块,结合时间图卷积网络模块增强帧间运动特征连续性进行时序建模。该模型充分考虑了双人交互动作的紧密关系,具有较强的鲁棒性,获得了比现有模型更好的交互动作识别效果。

基于骨骼数据特征的人体行为识别方法综述

人体行为识别是人工智能领域的一个研究热点,相对于视频、运动流等数据,人体骨骼数据具有简洁性和矢量计算的高效性。从基于传统机器学习的手工特征提取方法和基于深度学习的深度特征提取方法两方面对基于骨骼数据的人体行为识别相关研究进行综述。将手工特征概括为物理属性特征和统计属性特征,将深度特征按卷积神经网络、循环神经网络、图卷积神经网络及混合神经网络等类别对基于骨骼数据的人体行为识别方法及其优缺点进行逐一阐述,并对相关的特征提取方法、技术路线、模型特点及识别率等进行分析与总结。

顺序主导和方向驱动下基于点边特征的人体动作识别方法

人体运动是肢体运动方向、关节活动顺序以及动作幅度相互协调的过程.然而,现有方法往往直接对原始3D骨骼关节点信息进行建模,容易忽略肢体关节活动的顺序关系、运动方向性以及动作幅度变化影响.因此,提出一种顺序主导和方向驱动下基于点边特征的骨骼卷积神经网络,通过刻画人体关节点运动顺序、帧间距离和骨骼边方向向量等特征对人体动作分类识别.该网络包含顺序主导单元和方向驱动单元.顺序主导单元对骨骼边末端关节点进行建模,利用关节点的排列方式、帧间距离信息对关节活动顺序和肢体变化幅度进行表征.方向驱动单元利用骨骼边方向向量信息表征肢体运动的方向性.最后,将顺序主导单元与方向驱动单元进行特征融合,对人体日常行为动作进行分类识别.实验结果表明,在两个大型数据集NTU-RGB+D60和NTU-RGB+D120上的实验结果分别较基准方法提升了2.6%、3.5%和5.9%、6.1%.因此,所提出方法能有效利用多特征之间的协同互补性对人类日常行为运动进行深层次刻画,提高人体动作识别的精度.

面向语义通信的3D骨骼点数据编码与压缩方法

传统视频编码与压缩方法难以有效去除视频数据中的大量冗余信息,降低了传输效率。对此,提出了一种面向语义通信的三维(3D)骨骼点数据信源编码与压缩方法(DMDCT)。针对骨骼点数据中的冗余问题,提出了多尺度骨骼点表示方法,自适应地描述参与每个不同动作语义骨骼点运动状态的同时保留人体骨骼语义架构;引入离散余弦变换(DCT)从频域层面分离多尺度骨骼点表示的低频分量和高频分量,进一步减少了整体数据量。区别于传统通信传输原始视频数据的方式,结合语义通信只传输与高层任务相关的骨骼点数据,提高了数据传输效率。在公开数据集NTU RGB+D上以动作识别为例的实验结果表明,DMDCT在同等压缩率的top1准确率比同类算法提高了约5%,且在仅保留10%的DCT系数时仍可达到74.2%的准确率,而数据量仅为原始数据量的6%。

人体骨骼数字孪生的构建方法及应用

新一代智能制造中始终坚持以人为本的理念,其目的是要服务与满足人们的美好生活需求。人体数字孪生作为实现人机交互、健康监测的一种有效手段,通过由物理空间至虚拟空间的动态映射,实现在生产制造活动中人-机-环境的闭环交互。本文通过分析人-机-环境融合下的人体骨骼数字孪生的构建难点,基于机理模型、人工智能算法、数据填充技术、反向运动学技术四种关键技术,提出一种面向人体骨骼的数字孪生框架;并以人体腰椎为典型案例,实现了生产过程中人体腰椎力学性能的实时监测,从而验证了所提出框架和技术路线的可行性;最后,讨论“人本智造”下的人体数字孪生的难点和未来发展方向。面向复杂的人机交互环境,实现数字孪生的远距离感知、自主学习以及智能反馈是“人本智造”背景下的必经之路。基于“以人为本”的发展理念,在生产活动中提高人体数字孪生的进一步应用,从而促进智能制造的发展和完善。