基于局部短接单向融合网络的骨架检测

近年来,基于侧输出网络的骨架检测方法获得了显著的性能提升。但是,现有方法仍无法解决侧输出结构中高倍上采样和下采样带来的图像失真问题,固定的感受野大小也限制了其视觉特征表达能力。为解决这些问题,提出一种基于侧输出连接的局部短接单向融合网络。该网络由特征提取网络和侧输出网络组成。特征提取网络为深度卷积神经网络,主要用于多层次视觉特征提取。侧输出网络包含局部短接网络和单项融合网络2个模块,其中局部短接网络通过整合感受野邻近特征逐步构建起连续的大感受野特征,而多尺度特征从深到浅的单向融合则实现了对目标从粗糙到精细的刻画。在4种常用骨架检测数据集上的实验结果验证了所提方法的有效性。

基于DinoPose的列车司机手比行为检测研究

本研究针对铁路场景列车驾驶室驾驶员监控视频图像提出了一种列车司机手势动作识别算法模型DinoPose。通过引入Transformers中的编码器–解码器结构来实现基于回归的人体骨架关键点检测,有效地将Dino网络的应用场景从目标检测扩展至人体骨架检测。通过多组列车驾驶室的视频图像所抽取的关键帧数据集测试,本文提出法在精度上优于Openpose和Yolo-pose算法,其中mAP达到了95.72%,手比项点的检测准确率达到85.74%以上,能够满足铁路局机务段机车司机室监控视频智能分析的实际业务需求。

基于结构感知深度神经网络的显著性对象检测算法

由于现有的基于深度神经网络的显著性对象检测算法忽视了对象的结构信息,使得显著性图不能完整地覆盖整个对象区域,导致检测的准确率下降。针对此问题,提出一种结构感知的深度显著性对象检测算法。该算法基于一种多流结构的深度神经网络,包括特征提取网络、对象骨架检测子网络、显著性对象检测子网络和跨任务连接部件四个部分。首先,在显著性对象子网络的训练和测试阶段,通过对象骨骼检测子网络学习对象的结构信息,并利用跨任务连接部件使得显著性对象检测子网络能自动编码对象骨骼子网络学习的信息,从而感知对象的整体结构,克服对象区域检测不完整问题;其次,为了进一步提高所提方法的准确率,利用全连接条件随机场对检测结果进行进一步的优化。在三个公共数据集上的实验结果表明,该算法在检测的准确率和运行效率上均优于现有存在的基于深度学习的算法,这也说明了在深度神经网络中考虑对象结构信息的捕获是有意义的,有助于提高模型准确率。

基于关键帧定位和时空图卷积的异常行为识别

为提高监控视频中行人异常行为检测效率,提出了结合关键帧定位和时空图卷积的异常行为识别方法。该方法在人体骨架关键点检测的基础上,采用关键点运动特性定位视频中行人异常行为关键序列,利用时空图卷积网络可以提取行人时空特征的优点,在关键帧序列上构建人体骨架时空图,同时建立基于瓶颈残差模块的时空图卷积网络行为识别模型,实现对监控视频中行人异常行为的高效识别。采用自建数据集和公开数据集对该方法有效性进行检验,结果表明,该关键帧定位算法可高效实现异常行为定位,结合基于瓶颈残差模块时空图卷积网络,在减少时空图卷积网络计算复杂度的同时提升了网络性能,能够有效判断行人异常行为。

基于KINECT和全局视觉的机器人避碰研究

为了提高工业机器人作业过程中的安全性,在六自由度工业机器人平台上,提出了一种全局视频和Kinect相结合的人体运动检测与预测方法,并进一步实时控制工业机器人的避碰运动,从而确保人在机器人工作空间的安全性。首先利用Kinect人体骨架检测技术精确检测出人体位置信息,利用帧连续卡尔曼滤波器预测肢体运动;然后通过全局视觉检测出机器人运动空间内包括人在内的障碍物,依据检测结果判别危险性,并针对非人体障碍物和不同人体部位及运动趋势,采取相应的运动控制措施。实验结果证明,该方法能够实时、有效地提高机器人工作的安全性。