基于多模态特征及卷积神经网络的智慧教室人物行为识别方法

为了精准识别不同环境多类别人物行为,使其适用于多个场景,研究基于多模态特征及卷积神经网络的智慧教室人物行为识别方法。通过智慧教室多类别人物视频的均匀稀疏采样,获取智慧教室多类别人物RGB图像及人物行为图像,采用由改进3D CNN和引入时空注意力机制的LSTM模型构成C3DP-LA网络,提取多类别人物RGB图像时空特征,同时提取人物行为图像的人物光流特征、重心特征以及三维SIFT特征,组建人物行为组合特征,经基于全连接层的多模态特征融合网络融合人物时空特征和人物行为组合特征后,将多模态融合结果输入softmax分类器,完成智慧教室人物行为识别。实验结果表明:该方法可有效识别智慧教室多类别人物,降低背景、环境因素对多类别人物特征提取的影响,能够精准识别人物动作并准确分类,具有良好的应用性。

基于深度图和时空特征的邮局场景人物交互行为识别

以邮局快递验视中的人物交互行为识别为应用背景,针对开箱验视过程中的复杂背景干扰和人与物的特定行为模式难以准确描述这两个痛点问题,引入基于深度学习的语义分割机制,提出了一种基于深度图和时空特征的人物交互行为识别方法。首先,使用UNet语义分割模型在复杂背景中准确提取前景目标(箱体和人手);然后,融合深度和时空信息对箱体和人手进行特征提取,利用深度图像序列中的箱体深度方差以及可见光图像序列中的人手运动轨迹构建特征描述子,对箱体形态变化和人手行为模式进行准确描述,确定人物交互关系;最后,基于SVM分类算法对开箱和未开箱行为进行判断识别。通过设计消融对比实验及干扰抑制实验,证明所提出的方法具有较高的准确性和鲁棒性,识别准确率可达到94.7%,实现了邮局场景下人物交互行为的精确识别。

基于关键姿态的快递场景人-物交互行为识别方法

开箱验视是邮局快递场景中的一个重要环节,为了防止包裹内存在易燃易爆等危险品,快递打包前工作人员需按照行业要求实施危险品开箱验视;在人体行为识别框架中引入目标检测和关键姿态估计算法,提出了基于深度学习的快递场景人-物交互行为识别算法;首先,通过改进高斯混合(GMM,gaussian mixture model)背景建模方法检测运动目标,提取行为关键帧,采用OpenPose算法进行姿态估计,识别初始行为类别;其次,针对常规行为识别方法丢失物品语义信息的问题,使用YOLOv5算法检测感兴趣物体类别和位置,提出基于拍卖算法(Auction)的多人-多物最优分配算法,构建人-物交互关系特征描述子;最后,将初始行为标签和人-物交互关系描述子进行决策融合得到最终识别结果;以实际快递场景数据对所提方法进行验证分析,实验结果表明,该方法可以对相似目标和多人干扰的复杂环境中的开箱验视行为进行准确识别。