基于自校准机制的时空采样图卷积行为识别模型

针对现有行为识别算法忽视时空信息上下文的依赖关系和缺乏多层次感受野的特征提取问题,本文提出一种基于自校准机制的时空采样图卷积网络行为识别模型.首先,介绍ST-GCN和3D-GCN、Transformer和自注意力机制的工作原理,并分析了3D-GCN和Transformer不能有效进行时空上下文建模;其次,为有效进行时空上下文建模而提出了一种时空采样图卷积网络,其以时序连续多帧作为时空采样将全局动作分为多个子动作,通过非局部网络计算单一节点与采样频率帧内所有节点的相关性来建立局部跨时空依赖关系,并通过结合非局部网络和时域卷积计算单个采样子动作与全局子动作的相关性以此来建立全局跨时空依赖关系;然后,为了有效地增强多层次的感受野来捕获更具判别力的时域特征,提出了一种时域自校准卷积网络在两个不同的尺度时空中分别进行卷积并特征融合:一种是原始比例尺度的时空,另一种是使用下采样具有较小比例尺度的潜在时空;再者,结合时空采样图卷积网络和时域自校准网络构建基于自校准机制的时空采样图卷积网络行为识别模型,在多流网络下进行端到端的训练.最后,基于NTU-RGB+D和NTU-RGB+D120骨架动作数据集开展了骨架行为识别的相关实验研究,研究结果表明该行为识别模型具有高效的时空特征提取能力以及优秀的性能.

基于时空特征增强图卷积网络的骨架行为识别

针对骨架行为识别不能充分挖掘时空特征的问题,该文提出一种基于时空特征增强的图卷积行为识别模型(STFE-GCN)。首先,介绍表征人体拓扑结构邻接矩阵的定义及双流自适应图卷积网络模型的结构,其次,采用空域上的图注意力机制,根据邻居节点的重要性程度分配不同的权重系数,生成可充分挖掘空域结构特征的注意力系数矩阵,并结合非局部网络生成的全局邻接矩阵,提出一种新的空域自适应邻接矩阵,以期增强对人体空域结构特征的提取;然后,时域上采用混合池化模型以提取时域关键动作特征和全局上下文特征,并结合时域卷积提取的特征,以期增强对行为信息中时域特征的提取。再者,在模型中引入改进通道注意力网络(ECA-Net)进行通道注意力增强,更有利于模型提取样本的时空特征,同时结合空域特征增强、时域特征增强和通道注意力,构建时空特征增强图卷积网络模型在多流网络下实现端到端的训练,以期实现时空特征的充分挖掘。最后,在NTU-RGB+D和NTU-RGB+D120两个大型数据集上开展骨架行为识别研究,实验结果表明该模型具有优秀的识别准确率和泛化能力,也进一步验证了该模型充分挖掘时空特征的有效性。

大行程柔性微定位平台的伴生转动分析

大行程柔性微定位平台在运动过程中不可避免地产生伴生转动现象,并对其定位精度造成消极影响。为降低伴生转动对平台定位精度的影响,提出一种基于柔性杆的三移一转(3-PPPR)型大行程柔性微定位平台,基于线弹性梁理论模型并考虑柔性杆轴向形变,对两移一转(PPR)柔性运动副伴生转角进行了理论建模,并基于此完成了对所提平台在单轴、双轴及三轴驱动时产生伴生转角的理论分析;再采用有限元分析对理论模型进行验证。最后探究了柔性杆尺寸参数与平台伴生转角之间的灵敏度关系,为所提平台性能提升奠定了基础,并据此提出了改善所提平台运动性能的优化方案。结果表明:3种驱动条件下平台伴生转角理论值与仿真值最大相对误差为2.46%。

基于梅尔频谱分离和LSCNet的声学场景分类方法

针对现有频谱分离方法进行声学场景分类研究时其分类准确率不高的问题,提出了一种基于梅尔频谱分离和长距离自校正卷积神经网络(long-distance self-calibration convolutional neural network,LSCNet)的声学场景分类方法。首先,介绍了频谱的谐波打击源分离原理,提出了一种梅尔频谱分离算法,将梅尔频谱分离出谐波分量、打击源分量和残差分量;然后,结合自校正神经网络和残差增强机制,提出了一种长距离自校正卷积神经网络;该模型采用频域自校正算法以及长距离增强机制来保留特征图原始信息,通过残差增强机制和通道注意力增强机制加强了深层特征与浅层特征间的关联度,且结合多尺度特征融合模块,以进一步提取模型训练中输出层的有效信息,从而提高模型的分类准确率;最后,基于Urbansound8K和ESC-50数据集开展了声学场景分类实验。实验结果表明:梅尔频谱的残差分量能够针对性地减少背景噪音的影响,从而具有更好的分类性能,且LSCNet实现了对特征图中频域信息的关注,其最佳分类准确率分别达到90.1%和88%,验证了该方法的有效性。