基于时空交叉感知的实时动作检测方法

时空动作检测依赖于视频空间信息与时间信息的学习.目前,最先进的基于卷积神经网络(Convolutionsl Neural Networks,CNN)的动作检测器采用2D CNN或3D CNN架构,取得了显著的效果.然而,由于网络结构的复杂性与时空信息感知的原因,这些方法通常采用非实时、离线的方式.时空动作检测主要的挑战在于设计高效的检测网络架构,并能有效地感知融合时空特征.考虑到上述问题,本文提出了一种基于时空交叉感知的实时动作检测方法.该方法首先通过对输入视频进行乱序重排来增强时序信息,针对仅使用2D或3D骨干网络无法有效对时空特征进行建模,提出了基于时空交叉感知的多分支特征提取网络.针对单一尺度时空特征描述性不足,提出一个多尺度注意力网络来学习长期的时间依赖和空间上下文信息.针对时序和空间两种不同来源特征的融合,提出了一种新的运动显著性增强融合策略,对时空信息进行编码交叉映射,引导时序特征和空间特征之间的融合,突出更具辨别力的时空特征表示.最后,基于帧级检测器结果在线计算动作关联性链接.本文提出的方法在两个时空动作数据集UCF101-24和JHMDB-21上分别达到了84.71%和78.4%的准确率,优于现有最先进的方法,并达到73帧/秒的速度.此外,针对JHMDB-21数据集存在高类间相似性与难样本数据易于混淆等问题,本文提出了基于动作表示的关键帧光流动作检测方法,避免了冗余光流的产生,进一步提升了动作检测准确率.

整体与局部相互感知的图网络时序动作检测

针对目前动作检测与定位方法未综合利用整体与局部相互感知的时空关系信息、不利于提升动作检测与定位性能的问题,提出整体与局部相互感知的图网络时序动作检测方法.该方法综合利用各动作提案的特征相似性和时序重叠度构建整体关系图推理子网络,通过学习获得提案,该提案包含更丰富的整体时空特征表示;利用提案发生的时间偏序关系,构建局部关系图推理子网络,该子网络包含多个级别三体相似图和三体互补图的结构,通过学习获得不同时间尺度下提案的局部关系信息;最后构成整体与局部关系相互感知的丰富特征表达,用于动作检测与定位.采用平均精度均值作为评价指标在2个公开数据集(Thumos14和ActivityNet1.3)上进行了试验.结果表明,与PGCN、G-TAD、TAL-Net、CDC等先进方法相比,文中方法能有效提高动作检测的性能.

基于24 GHz连续波多普勒雷达能量密度分布的非接触式睡眠动作检测

睡眠动作是反映睡眠质量的重要生理指标。现有基于雷达的睡眠动作检测方法主要根据雷达信号原始能量的变化检测睡眠动作。由于不同目标动作幅度的不同会导致能量变化的差异,这些方法在检测不同目标的睡眠动作时准确率受限。为提高睡眠动作检测的准确率,提出了一种基于雷达能量密度分布的睡眠动作检测方法。首先,提出基于连续波多普勒雷达能量密度分布的检验统计量特征和显著性水平特征;随后基于上述特征引入XGBoost模型实现睡眠动作检测;最后,通过多种环境下的真实实验验证算法的有效性与鲁棒性。实验结果表明,所提出的检验统计量特征和显著性水平特征可以在降低训练样本需求的同时有效提高准确率,在多种环境下均能达到95%以上的检测准确率。

基于深度学习方法的在线动作检测技术综述

动作检测技术,是在算法观测整个视频后自动识别出其中出现的动作类别和始末时间,在机器人、智能家居、城市安防等领域均有应用。然而实际生活中,很多场景需要在某些事件刚发生时给予反馈,这需要检测算法以一种在线形式接收视频信息,传统的动作检测算法因为观测信息不完全,效果很差。本文基于当前在线动作检测算法的研究现状,概述了目前用于在线检测的主流方法,总结了目前研究将遇到的挑战。

基于深度学习的高校学生行为时序动作检测与智能识别技术研究

要进一步提升高校的办学水平与管理质量,仅仅依靠制度与体系的实施是远远不够的,在信息化时代背景下,高校教育水平的提升,还可以借助先进技术的优势与促进作用,来通过应用先进的技术形式,来对学生的行为时序动作检测与智能识别,根据对学生的行为进行精准全面的分析,了解学生的特点,并根据学生的学习需求,来制定个性化,针对性的教学与管理措施,实现教育管理现代化与智能化。本文首先对深度学习的概念进行介绍,接着就学生行为时序动作检测与智能识别技术在深度学习中的应用中的作用进行分析,最后就基于深度学习目标下学生行为时序动作检测与智能识别技术的具体应用进行简单介绍,以供参考。

基于深度卷积神经网络的辅助虚拟训练动作检测系统设计

为了提高辅助虚拟训练动作检测系统的精度与有效性,文中提出一种基于深度卷积神经网络的辅助虚拟训练动作检测系统,该设计系统由逻辑层、技术层与应用层三部分组成。在系统硬件设计方面,设计虚拟显示模块、电源模块和检测数据采集模块,在提高系统稳定性的同时提高虚拟训练动作数据传输的精度。在系统软件设计部分,以深度卷积神经网络结构为基础,识别辅助虚拟训练动作,并采集辅助虚拟训练动作的图像,结合卷积层与全连接层对采集到的辅助虚拟训练动作图像进行处理,通过分类层输出辅助虚拟训练动作的识别结果。最后,根据训练动作的定位结果完成辅助虚拟训练动作的检测。实验结果表明,文中所设计的系统能够精准定位辅助虚拟训练动作,提高训练动作的检测精度,保障辅助训练的有效性。

基于传感器的腕部动作检测与手势识别方法综述

基于传感器的腕部动作检测具有良好的测量效果和手势识别结果,重点介绍了传感器技术在腕部动作检测与手势识别中的国内外研究现状,包括腕部动作检测的声学传感器、力学传感器、光学传感器、电学传感器,加速度传感器及其动作识别算法。对基于传感器的腕部动作检测与手势识别技术进行了总结与展望。

利用深度卷积神经网络的体育教学训练错误动作检测

为了降低体育教学训练错误动作检测的误差率,提升检测效果,研究一种基于深度卷积神经网络的体育教学训练错误动作检测方法。构建多层次的深度卷积神经网络,在输入层中输入未经过特征提取的初始数据,分别经卷积层和池化层处理获取卷积特征图和池化特征图;在卷积层与池化层的中间添加批量归一层,通过批量归一化处理体育教学训练的错误动作样本;在隐含层中重复操作上述步骤并通过设置卷积和池化实现错误动作数据特征的提取,并通过全连接层输出最终的检测结果。实验结果表明,该方法具有较好的体育教学训练错误动作检测效果,检测平均误差率约为0.034%,可准确检测运动人员的各部位训练错误动作。

基于惯性传感器的射手动作检测系统设计

为了检测射手在模拟射击过程中动作是否规范,实现操作要领的自查自纠,提出一种通过安装在枪支上的惯性测量单元进行射手动作数据捕获的方法。根据射击实际动作要领在枪支相应部位绑定惯性传感器,用以采集对应位置的动作数据。系统下位机完成射手动作检测与识别,并将采集到的数据显示在上位机上。实验表明,本文设计的基于惯性传感器的射手动作检测系统,提高了射击训练的自动化程度,节省了训练资源投入,使训练更加安全有效。

复杂场景下面向时空模糊性的人体动作检测方案研究

与严格受控环境下传统的人体动作检测不同,进行复杂场景下的动作检测时由于背景带有噪声、人体遮挡和跟踪不全导致空间和时间边界存在时空模糊性。现有的动作检测方案无法有效解决这一问题,为此,首先采用运动历史图像特征和外观特征对人体运动进行区分,然后将一个动作的候选区域看成是一个实例包,提出模拟退火多实例学习支持向量机(SMILE-SVM)算法实现人体动作检测。仿真结果表明,该算法在公共的CMU运动数据集上的性能优于现有算法。另外,还提出了一种超市客户意图检测系统,可检测拥挤的超市中客户是否有意从货架上取货,对于商家研究客户兴趣具有重大价值。

基于姿态估计的驾驶员手部动作检测方法研究

为有效检查驾驶员在行驶过程中的不当行为,本文研究结合人体姿态估计信息的检测算法,通过对检测目标的约束,建立起一套具有多阶段的手部动作检测方法。该方法包含三个模块。第一,人体姿态估计模块,选取人体姿态估计网络关节的高斯热图层,通过输出的人体姿态高斯热图信息,达到对检测目标的空间信息的获取;第二,手部检测模块,基于CNN的检测网络,在网络输入层融合人体姿态高斯热图后,达到对手部的检测率提高的效果;第三,手部动作分类模块,通过接受手部检测模块的输出,消除对检测结果产生干扰的背景,将分类网络的特征提取约束在手部局部位置,提高手部动作分类的准确率,将手部区域输入至分类网络得到驾驶员手部动作,从而判断驾驶员是否存在抽烟、接听电话等不当行为,实现驾驶员的行为检测。为了验证本文提出的多阶段的手部动作检测方法,已在自制数据集上进行了相应实验。

一种视频中时空动作检测的交互关系建模方法

目前,在时空动作检测任务中,很少有方法明确提出使用优化动作交互关系特征来提升检测的准确性。笔者提出基于多头注意力的交互特征增强方法,包括人物视觉、人的时序、全局背景和空间位置的特征增强,采用串行融合策略连接增强块,有效提升了时空动作检测的准确性。模型在自建Unload-Actions数据集上的帧级mAP达到27.93%,并在消融实验中证明了交互特征增强块和串行融合策略的有效性。

基于视觉的工业机器人异常动作检测方法研究

工业机器人的突发故障引发的安全问题时有发生。传统的基于数据分析的故障诊断方法存在传感器数据易受干扰,机器人通讯协议不统一,监测系统嵌入在执行系统内部相互影响等问题。提出一种基于机器视觉的工业机器人故障动作检测方法。对工业机器人作业视频进行实时分析,采用图像分割技术分离工业机器人本体并采用图像哈希技术生成工业机器人姿态编码,结合序列模式分析技术检测工业机器人异常动作并进行预警。不依赖于工业机器人通讯协议,以非接触式的方式对工业机器人进行实时监控,具有易于部署和成本低的特点。基于自主构建的工业机器人仿真视频数据集进行了实验研究,结果表明提出的方法可准确识别工业机器人异常动作,精确率和召回率均为100%。

用于课堂教学评估的教师肢体动作检测

利用智能视频监控来进行课堂教学自动评估,可以方便高效地服务于教学,而作为课堂教学中的主要角色,教师授课状态对课堂教学评价有着至关重要的影响,因此本实验使用视频技术通过对教师肢体动作检测实现了对教师的授课评价。在实验中作者首先对比了OpenPose和yolo两种深度学习算法并最终选择yolo算法,然后自己制作数据集进行训练检测,完成教师肢体动作的识别,最后针对识别框尺寸大小不准确的问题进行了优化,提高了检测的准确度。

基于多普勒雷达的发音动作检测与命令词识别

本文提出了一种基于多普勒微波雷达的发音动作检测与命令词识别方法.该方法利用微波雷达的多普勒特性检测发音过程中面部肌肉的微小变化,实现不依赖语音声学信号的命令词识别.本文首先设计实现了一个基于多普勒微波雷达的发音动作检测系统,并基于此系统构建了一个包含2个说话人的命令词识别数据库.然后,本文研究了基于支持向量机和卷积神经网络模型的雷达数据分类方法,并对比了不同模型和特征组合在单话者建模和多话者建模情况下的命令词识别性能.实验结果表明,本文设计的数据采集系统可以有效检测发音动作,所构建的卷积神经网络分类器可以取得90%以上的命令词识别准确率.

基于时空信息的时序动作检测方法研究

本文提出了一个深度时空信息网络.加入了反映动作时空信息的光流来获取时序信息,通过3D卷积网络检测结果,得到视频中动作发生的候选区域及其动作分类.在此基础上,本文通过构建动作状态检测网络,对得到的候选区域进行修补,从而可以得到更为精确的动作发生的时间区域.实验结果表明,相对于现有的方法,本文的方法有效地提高了时序动作区域的定位精度.

基于区域时空二合一网络的动作检测方法

视频动作检测研究是在动作识别的基础上进一步获取动作发生的位置和时间信息。结合RGB空间流和光流时间流,提出了一种基于SSD的区域时空二合一动作检测网络。改进了非局部时空模块,在光流中设计了像素点筛选器来提取运动关键区域信息,只对空间流中筛选出的动作关键区域进行相关性计算,有效获得动作长距离依赖并改善非局部模块计算成本较大的缺陷,同时降低了视频背景噪声的干扰。在基准数据集UCF101-24上进行了实验,结果表明所提出的区域时空二合一网络具有更好的检测性能,视频级别的平均精度(video_AP)达到了43.17%@0.5。

基于特征放大的小波反应堆CRDM动作检测

为保障核反应堆安全运行,可靠地检测反应堆核心部件———控制棒驱动机构(CRDM)动作是极其必要的。针对控制棒驱动机构线圈电流动作点信号变化能有效反映控制棒驱动机构动作状态的特性,设计了基于特征放大的小波反应堆CRDM动作检测方法。由控制棒驱动机构电路构建无动作点电流上升段曲线模型,利用该模型对电流动作点部分特征进行放大,再对特征放大的电流动作点进行小波分解,从而实现对线圈电流动作点的检测。利用MATLAB对算法进行验证。验证结果表明:该方法对控制棒驱动机构线圈电流动作点的辨识度达到9.43。相较于小波变换,基于特征放大的小波变换检测算法对控制棒驱动机构线圈电流动作点的辨识度更高、辨识度阈值范围更大,可以更可靠地检测出控制棒驱动机构线圈电流动作点。

基于姿势识别的舞蹈动作检测研究

针对舞蹈场景复杂导致舞蹈动作识别准确率不高的问题,提出一种基于姿势识别的舞蹈动作检测方法.该方法通过结合骨骼关键点信息,选取人体关节点相对位置、关节点角度、肢体长度比值融合特征,对舞蹈场景中的动作分类,并通过残差块自动动作检测方法,实现复杂舞蹈场景的舞蹈动作检测.通过在Python平台仿真表明,本研究基于姿势识别的舞蹈动作检测方法可准确识别舞蹈动作,识别准确率达到92%以上,相较于传统的残差网络四通道算法和计算Hu矩算法,本算法的识别准确率最高;相较于HOC算法,本算法的识别效率更快.

感知词性信息的动作检测在视频描述中的应用

针对现有视频描述模型的缺陷,本文探讨设计了感知词性信息的动作检测的视频描述模型。首先对视频中的场景进行特征提取,再利用动作检测模块判断视频中多个物体间的全局依赖关系来确定主语物体,并结合主语类别和视频动态特征预测动作,以得到更准确的词性信息,最后通过语法引导的描述器生成更精确的场景描述语句。此模型在实时推断的基础上提升准确率,若将其应用在导航中,能识别分析周围交通状况及路况信息并生成自然语言描述,可以为视障人群指引方向,保障视障人士出行的安全性和便利性。