基于深度图和时空特征的邮局场景人物交互行为识别

以邮局快递验视中的人物交互行为识别为应用背景,针对开箱验视过程中的复杂背景干扰和人与物的特定行为模式难以准确描述这两个痛点问题,引入基于深度学习的语义分割机制,提出了一种基于深度图和时空特征的人物交互行为识别方法。首先,使用UNet语义分割模型在复杂背景中准确提取前景目标(箱体和人手);然后,融合深度和时空信息对箱体和人手进行特征提取,利用深度图像序列中的箱体深度方差以及可见光图像序列中的人手运动轨迹构建特征描述子,对箱体形态变化和人手行为模式进行准确描述,确定人物交互关系;最后,基于SVM分类算法对开箱和未开箱行为进行判断识别。通过设计消融对比实验及干扰抑制实验,证明所提出的方法具有较高的准确性和鲁棒性,识别准确率可达到94.7%,实现了邮局场景下人物交互行为的精确识别。

基于关键姿态的快递场景人-物交互行为识别方法

开箱验视是邮局快递场景中的一个重要环节,为了防止包裹内存在易燃易爆等危险品,快递打包前工作人员需按照行业要求实施危险品开箱验视;在人体行为识别框架中引入目标检测和关键姿态估计算法,提出了基于深度学习的快递场景人-物交互行为识别算法;首先,通过改进高斯混合(GMM,gaussian mixture model)背景建模方法检测运动目标,提取行为关键帧,采用OpenPose算法进行姿态估计,识别初始行为类别;其次,针对常规行为识别方法丢失物品语义信息的问题,使用YOLOv5算法检测感兴趣物体类别和位置,提出基于拍卖算法(Auction)的多人-多物最优分配算法,构建人-物交互关系特征描述子;最后,将初始行为标签和人-物交互关系描述子进行决策融合得到最终识别结果;以实际快递场景数据对所提方法进行验证分析,实验结果表明,该方法可以对相似目标和多人干扰的复杂环境中的开箱验视行为进行准确识别。