基于图卷积的3D骨架数据的双人交互行为识别

针对图卷积神经网络的双人交互行为识别方法存在交互语义信息表达不充分的问题,提出了一种新的双人交互时空图卷积神经网络(DHI-STGCN)用于行为识别的方法。该网络包含空间子网络模块和时间子网络模块。将基于交互动作视频获取的3D骨架数据生成一种双人交互动作的空间动作图用于空间信息的表示,图中根据关节点位置信息对双人之间的连接边赋予不同的权重。时间信息处理中,在构造的邻接矩阵中增加了上下文时间信息的联系,图中关节点与其一定时间范围内的节点增加连接。将生成的时空图数据送入空间图卷积网络模块,结合时间图卷积网络模块增强帧间运动特征连续性进行时序建模。该模型充分考虑了双人交互动作的紧密关系,具有较强的鲁棒性,获得了比现有模型更好的交互动作识别效果。

融合矢量骨架数据的三维地形模型构建方法研究

分析基于影像和DEM构建三维地形模型及三维系统数据集成中存在的一些问题,研究融合矢量骨架数据的三维地形模型构建方法及其工艺流程。实践表明,采用该方法制作的三维地形模型,具有层次分明、表达直观、立体性强等特点,可有效减少三维地理信息系统集成的矢量数据量,提高三维地理信息系统数据加载效率。

基于三维手部骨架数据的连续手语识别

为有效地消除手语识别过程中背景、光照等干扰因素带来的视觉问题,采用低冗余的骨架数据表达手语信息,设计了一个端到端连续手语识别模型.首先,分别从帧内和帧间提取手型和轨迹特征,可以有效地降低原始样本的离散程度;其次,构建一系列并行的双路残差网络对手型和轨迹特征进行优化与融合,生成时空特征序列;最后,基于注意力机制的编码-解码网络实现时空特征序列到翻译文本的映射.使用Leap Motion收集建立了一个基于三维手部骨架数据的手语数据集LMSLR.实验结果表明,在LMSLR数据集和公共的CSL数据集上,该模型与大多数基于视频处理的模型相比具有较高的准确率和较小的计算量.

基于双流自适应时空增强图卷积网络的手语识别

针对提取手语特征过程中出现的信息表征能力差、信息不完整问题,设计了一种双流自适应时空增强图卷积网络(two-stream adaptive enhanced spatial temporal graph convolutional network,TAEST-GCN)实现基于孤立词的手语识别。该网络使用人体身体、手部和面部节点作为输入,构造基于人体关节和骨骼的双流结构。通过自适应时空图卷积模块生成不同部位之间的连接,并充分利用其中的位置和方向信息。同时采用残差连接方式设计自适应多尺度时空注意力模块,进一步增强该网络在空域和时域的卷积能力。将双流网络提取到的有效特征进行加权融合,可以分类输出手语词汇。最后在公开的中文手语孤立词数据集上进行实验,在100类词汇和500类词汇分类任务中准确率达到了95.57%和89.62%。

基于改进时空图卷积网络的人员交互行为识别

针对人员交互行为识别存在的多模态数据融合方法导致的识别准确率与模型性能无法同时满足的问题,提出一种基于改进时空图卷积网络的人员交互行为识别方法。将单模态骨架数据引入级联的密集时空图卷积块网络中获得丰富的时空特征信息,提高特征复用率;设计一种增强时空图卷积网络(EST-GCN)单元提高网络对关节点之间的信息表征能力;引入一种运动特征因子衡量肢体不同关节的重要程度,提高模型识别效果。在Kinetics数据集和办案区场景数据集上的实验结果表明,所提出方法在识别效果上具有一定优势,且该方法在模型复杂度及运行效率上具有很好的竞争力。

融合球空间下旋转角度编码的人体动作识别

针对现有的人体动作识别方法较多考虑骨架结构的坐标和位移等平移信息,较少关注代表骨架结构的运动趋势以及代表关节、骨骼运动方向的旋转信息,提出一种融合球空间下旋转角度编码的时空卷积神经网络方法。通过人体动作在三维球空间中的映射,获取具有尺度不变性的角度信息,提取其动态角速度信息作为角度编码,表征动作轨迹中关节点和骨骼边的旋转信息;构建了时空特征提取与共现模块来更好地捕获数据的时空特征;用合适的融合策略对平移特征和旋转特征进行运动特征融合。实验结果证明了旋转角度编码有利于提升运动表征的准确性,以及时空特征提取与共现模块的有效性。

基于动态拓扑图的人体骨架动作识别算法

传统的人体骨架动作识别算法采用手动构建拓扑图的方式来建模包含在多个视频帧中的动作序列,并针对性地学习每个视频帧以反映数据变化,这容易造成计算代价大、网络泛化性低和灾难性遗忘等问题。针对上述问题,提出了基于动态拓扑图的人体骨架动作识别算法,使用持续学习思想动态构建人体骨架拓扑图。将具有多关系特性的人体骨架序列数据重新编码为关系三元组,并基于长短期记忆网络,通过解耦合的方式学习特征嵌入。当处理新骨架关系三元组时,使用部分更新机制动态构建人体骨架拓扑图,并采用基于时空图卷积网络的骨架动作识别算法来实现动作识别。实验结果表明,所提方法在Kinetics-Skeleton,NTU-RGB+D(X-Sub)和NTU-RGB+D(X-View)基准数据集上分别取得了40%,85%和90%的识别准确率,提高了人体骨架动作识别的准确率。

基于人体骨架特征学习的动作识别

动作识别是计算机视觉研究中的一个基本但具有挑战性的问题。在过去的几年中,许多基于RGB视频的识别技术已经得到了巨大的发展,并取得了显著的成果。但是,处理RGB视频可能非常耗时。其中,在动作识别领域,人体骨架数据具有轻量级的特点,同时对人体外观、环境背景等信息具有不变性,因此,这种数据模态受到了越来越多的关注。然而,基于人体骨架的动作识别面临两个问题:人体骨架数据的噪声问题和数据标注的依赖问题。噪声问题是指骨架数据中存在噪声影响数据的准确性,而数据标注依赖问题则是指在监督学习中,需要大量的标签数据进行训练。本文针对人体骨架数据在采集中的噪声问题,提出了一种基于噪声适应的动作识别模型,设计了回归模型和生成模型充分利用不同场景下的噪声数据特点。并且针对人体骨架数据过于依赖标签数据,利用自监督学习方法,提出了一个基于多任务自监督学习的动作识别方法。

一种基于骨架序列的老年人摔倒动作识别方法研究

针对现有摔倒检测方法在不同场景下适应性弱、用户体验差、识别率不可靠等缺点,本文提出一种结合门控循环单元和时空注意力模块(STM-GRU)摔倒识别模型,利用骨架数据对摔倒动作进行识别的方法.该方法首先对原始骨架数据进行预处理去除误差数据;然后对人体在米字型8个方向上的摔倒倾斜姿态进行分析,提取骨架空间特征,接着从连续时刻骨架序列中提取时序变化特征,解决了尺度、位移变化问题;最后将时空特征输入STM-GRU,时空注意力模块分别应用注意力机制,模型融合各模块输出张量后进行后续动作识别任务.在自建数据集上的实验结果表明,该方法适用于老年人摔倒动作识别.

基于骨架的快速手势识别模型

对于手势识别来说,骨架数据是一种紧凑且对环境条件稳健的数据模态.最近基于骨架的手势识别研究多使用深度神经网络去提取空间和时间的信息,然而这些方法可能存在复杂的计算和大量的模型参数的问题.为了解决这个问题,我们提出一种轻量高效的手势识别模型.该模型使用从骨架序列上计算出的两种空间几何特征,以及自动学习的运动轨迹特征,然后只使用卷积网络作为骨干网络实现手势分类.最终我们的模型参数量最少情况下仅为0.16 M,计算复杂度最大情况为0.03 GFLOPs.我们在公开的两个数据集上评估了我们的方法,与其他输入为骨架模态的方法相比,我们的方法取得了相应数据集上最好的结果.

基于多分支LSTM网络的行为识别

随着人体行为识别的普及,基于骨骼的动作识别引发了研究的热潮。行为识别任务主要在于用相匹配的网络模型识别出图像以及视频中所包含的人体行为,在智能监控等工业智能领域得到广泛的应用,其具有很高的研究价值。提取图像骨架数据的特征容易被外界环境等因素干扰,与此同时,由于骨架关节特征的分布不一致,直接序列建模容易丢失关节的关键信息,从而导致较差的行为识别模型性能。因此,我们提出了深度多分支LSTM网络模型,所提出的网络可更有效地学习骨架特征。和单独的LSTM网络相比,本文构建的网络在UTKinect和RGB两个数据集上取得了良好结果。

基于改进自适应网络的行为识别

行为识别在识别人体动作的过程中容易受到光照,遮挡等外界因素的不良影响,而骨架数据恰好能减轻上述因素的不良影响。对于行为识别数据量数据过大导致工作量增加的问题,深度学习技术的出现不仅提供了一个新的出路,而且其特殊的结构对于处理骨架数据比较容易。行为识别主要的挑战也来自行人的自主性太强导致观测视角随着行人不断变化,多变的视角不利于深度学习网络进行行为识别,容易导致动作误判。因此,首先针对视角变化的进行了研究并在网络框架中借鉴了一种新的视图自适应方案,使行为识别在动作持续时间内可以自动确定虚拟观察视点。然后研究了两种视图自适应神经网络,分别是基于带有长短期记忆(Long Short-Term Memory,LSTM)的递归神经网络和卷积神经网络(Convolutional Neural Network,CNN),在此研究之下构建了自适用深度卷积网络和自适应长短时记忆网络。接着在这两种网络中,通过一个新的视图适应模块学习并确定最优的观察视点,同时利用LSTM和CNN特性进行网络优化。最后对两种网络的最终预测结果进行融合,在NTU RGB+D数据集上的进行了广泛的实验来评估改进的自适应视点网络的效果。实验结果证明行为识别的效果得到了提高和优化,具有一定的鲁棒性。

利用局部敏感哈希提高隔离森林算法效率

离群点检测是机器学习的一个重要问题,对于信息系统而言,快速和准确地在异常故障发生前告警并确保系统稳定运行尤为重要。隔离森林(IForest)算法因其线性的检测时间复杂度而颇受青睐,但随着数据的不断生成以及对数据检测精度要求不断提高,IForest算法出现了检测精度低和不擅长处理局部相对稀疏点等问题。利用局部敏感哈希(LSH)方法对IForest算法进行改进,对空间分布数据进行预处理,将空间中最相似的数据分组到一个桶中,再将所有桶中样本用一个带权重的点取代,得到具有代表性的数据骨架样本点并进行隔离森林构建。试验结果表明,该改进算法性能在异常检测效率与精度方面均有提升。

基于骨架信息的异常步态识别方法

利用低成本的Kinect相机可以实现人体姿态捕捉,代替价格昂贵的光学动作捕捉系统进行异常步态分析。本文从病理性异常步态特征、步态数据集、Kinect相机可靠性和异常步态识别方法4个方面分别对异常步态分析的发展现状展开综述。首先,总结了常见的异常步态的病理性特点,介绍了步态分析中常用的步态特征和步态事件;然后,介绍了基于Kinect相机采集的异常步态骨架数据集和可穿戴设备、压力传感器采集的异常步态数据集;广泛调查了验证Kinect用于步态分析可靠性的相关实验研究,讨论了Kinect相机及骨架数据用于步态分析的可行性;最后,分别从异常步态特征提取和异常步态分类器两个方面介绍了这一领域的发展现状,结合实际应用指出当前研究存在的不足和发展方向。

基于多条件随机场模型的异常行为检测

传统的异常行为检测多数是利用单特征建模,检测的行为较为单一,检测率较低,针对这些问题,提出一种基于多条件随机场模型(MCRF)的异常行为检测方法,MCRF模型具有融合多特征和联系上下文信息的优势。通过Kinect获取3D骨架数据,提取角度、位置、速度三类特征,形成多类特征子集,利用基本的CRF模型对每一类特征子集建模,形成多个CRF单元,然后组合所有的CRF单元,得到MCRF模型,最后利用MCRF模型进行异常行为检测。实验结果表明基于MCRF的异常行为检测方法具有较高的检测率。