SlowFast架构下景区异常行为识别算法及预警研究

针对当前古建筑场景下人员异常行为识别相关实例缺乏、数据集少、古建筑级别低、质量次,导致人员异常行为识别准确率低等问题,该文在古建筑景区背景下自行拍摄了多组视频,从中挑选构建了人员异常行为动作的5033段视频数据集:具有明确的典型古建筑背景;具有多人场景下暴恐打架斗殴、刻划、刻画以及存在火灾风险的人员异常行为等特征,并对每个视频进行了注释。该文首次于SlowFast网络框架中成功引入信号时域特征活动性、移动性参数,对构建的数据集进行高阶时序特征建模、增加分类算子。在人员异常行为识别任务中,模型的Top1准确率达到93.54%,而平均准确率达到96.30%,在SlowFast模型中引入活动性、移动性算子后,模型识别的准确率提升了0.87%。与几种常见架构的算法相比,该文所提出的方法存在一定的优势。

基于改进SlowFast模型的设施黄瓜农事行为识别方法

[目的/意义]农事行为活动识别对设施蔬菜生产精准化调控有着重要意义,在一定程度上可以通过查看农事操作的时间、操作过程是否合理来减少因农事行为不当导致产量下降。为了解决农事行为识别方法中由于黄瓜叶片和设施遮挡导致识别准确率不高的问题,提出一种名为SlowFast-SMC-ECA (SlowFast-Spatio-Temporal Excitation、Channel Excitation、Motion Excitation-Efficient Channel Attention)的农事活动行为识别算法。[方法]该算法主要基于SlowFast模型,通过改进Fast Pathway和Slow Pathway中的网络结构来提高对于农事活动中手部动作特征和关键特征的提取能力。在Fast Pathway中,引入多路径激励残差网络的概念,通过在信道之间插入卷积操作来增强它们在时域上的相互关联性,从而更好地捕捉快速运动信息的细微时间变化。在Slow Pathway中,将传统的Residual Block替换为ECA-Res结构,以提高对通道信息的捕获能力。这两项改进有效地加强了通道之间的联系,提升了特征之间的语义信息传递,进而显著提升了农事行为识别的准确率。此外,为了解决数据集中类别不均衡的问题,设计了平衡损失函数(Smoothing Loss),通过引入正则化系数,平衡损失函数可以有效地处理数据集中的类别不均衡情况,提高模型在各个类别上的表现。[结果和讨论]改进的SlowFast-SMC-ECA模型在农事行为识别中表现出良好的性能,各类行为的平均识别精度达到80.47%,相较于原始的SlowFast模型有约3.5%的提升。[结论]本研究在农事行为识别中展现出良好的性能。这对农业生产的智能化管理和决策具有重要意义。

深度嵌套注意力下的SlowFast信息融合动作识别网络

视频动作识别在视频监控、自动驾驶等多个领域都有着广泛的应用。SlowFast网络是视频动作识别领域经常使用的网络。目前SlowFast相关网络中使用注意力进行相关信息增强,注意力机制与网络的结合方式是将注意力机制嵌套到网络的各个卷积块之间,如果将注意力机制深层嵌套到卷积块的具体卷积层中,SlowFast网络的信息提取能力将更进一步。首先提出了一种深度嵌套注意力机制,该深度嵌套机制内部包含一种可以提取时空与通道信息的注意力SCTM,使SlowFast网络的3种信息提取能力得到了进一步加强。此外,目前多流网络融合的信息并没有充分的交互与处理。提出了一种基于交叉注意力与ConvLSTM的多流时空信息融合网络,使多流网络中每个流的信息充分交互。改进后的SlowFast网络在UCF101数据集上的Top-1准确率已达到98.5%,在HMDB51数据集中的准确率达到了80.1%。均优于目前已有的模型,比原始SlowFast网络提高了2.64%,且鉴于上述数据,深度嵌套注意力的SlowFast时空信息融合网络在信息提取与融合方面具有优越性能。

基于SlowFast网络的孤立词手语识别算法研究

由于运动模糊、信息冗余以及不同人手语风格多样化等原因,目前的孤立词手语识别在识别精度、背景抗干扰性和识别速度等方面仍存在不足。为此,提出了一种新的手语识别方法——基于SlowFast网络和增强手部注意力的方法(EAH-SlowFast),其使用YOLOv5和DeepSort检测并追踪手部,提高对手部信息的关注度;在骨干网络中使用Focal损失函数增加模型的分类能力;改进了SlowFast网络结构并引入通道空间注意力机制,从而提高手部信息的权重并抑制背景噪声的干扰。此外,还提出了一种关键帧提取算法,可以在一定精度的损失下大大提高效率。经实验证实,EAH-SlowFast在DEVISIGN-D数据集上的Top-5准确率达到了97.79%,优于其他先进的手语识别算法。

基于边缘计算的智能化建筑安全监控系统

探讨基于边缘计算的智能化建筑安全监控系统,以解决智能化建筑安全监控的挑战。首先分析智能化建筑安全监控的需求和挑战;其次设计基于边缘计算的监控系统架构,采用Yolo和SlowFast模型实现了人脸识别、目标检测、姿态识别和行为检测等功能;最后通过在UCF-101数据集上进行实验测试,评估系统的性能。结果显示,基于SlowFast模型的姿态识别和行为检测在准确率、召回率和F1值等指标上表现良好,系统有效、可靠,提出的基于边缘计算的智能化建筑安全监控系统能够有效解决智能化建筑安全监控的问题,为建筑安全管理提供了可靠的技术支持。未来,可进一步优化算法和系统架构,以提升系统的性能和可靠性,满足不断增长的建筑安全管理需求。

高速公路施工现场工人危险行为识别研究

高速公路隧道、桥涵等施工现场工人的危险行为是造成安全事故频发的主要因素之一,基于深度学习开展工人危险行为识别方法研究具有较好的应用前景。本文基于YOLOv5改进了SLOWFAST算法,将其应用到高速公路施工现场中,并设计了基于图像识别的危险行为预警流程。在高速公路工地复杂场景下的测试表明,该方法的识别视频帧率达到了40左右,准确度达到90左右,充分说明了该方法的有效性。

基于视频时空特征的学生课堂行为检测

课堂行为能有效反映学生的学习状态,通过深度学习技术实现课堂行为检测对于改进教学方式、提高教学质量具有重要意义。目前,课堂行为检测较多采用基于静态图像的方式进行,往往会忽略行为的动态特征,对连续性行为检测效果较差。为此,提出一种基于视频时空特征的YOLOv7-SlowFast课堂行为检测方法,通过YOLOv7定位学生目标后采用SlowFast检测课堂行为。首先,为提高YOLOv7在人群密集环境下的检测精度,引入自适应空间特征融合模块解决不同尺度特征之间不一致的问题;其次,采用RepGhost轻量化模块改进YOLOv7网络结构,通过结构重新参数化提高模型检测速度;最后,针对SlowFast时空行为检测精度低的问题,设计基于标准化的时间注意力模块,加强模型对时间特征的感知。实验结果表明,改进后YOLOv7在Crowdhuman数据集上平均精度均值(mAP)达86.96%;改进后SlowFast在自制课堂行为检测数据集上的mAP达87.28%,能够实现课堂行为的有效检测。

基于深度学习的机场物流暴力分拣行为识别系统

机场行李箱分拣是机场安检的重要环节之一。目前,在行李箱分拣过程中,普遍存在机场人员的暴力分拣行为。为杜绝此类违规现象的发生,本文提出了一种基于SlowFast动作行为识别算法的系统,可以实时监测机场分拣人员的暴力分拣行为。SlowFast神经网络算法通过慢速路径(slow-pathway)捕获静态信息和全局动态信息,快速路径(fast-pathway)捕获局部动态信息。两个路径提取的特征经过融合后,在存在暴力分拣行为的AVA格式训练集上进行迭代训练,获得最佳检测模型。实际应用表明,本系统在室内场景中识别暴力分拣行为的准确率达到了99.1%,能够有效减少此类违规行为的发生。

基于红外视频识别的锂电池健康状态快速检测

针对退役动力电池梯次利用过程中对电池健康状态快速检测的需求,本文以软包磷酸铁锂电池为研究对象,提出基于红外热成像的锂电池健康状态快速检测方法。通过改变电池充电和放电电流倍率,研究不同老化程度的电池在放电过程中的温度变化情况,采集放电过程中的红外热成像视频,建立电池健康状态与红外热成像特征的对应关系,以此作为电池健康状态检测的健康因子;构建基于SlowFast-LSTM深度学习网络模型的改进型视频识别算法,对于电池健康状态0~40%、40%~50%、50%~60%、60%~70%、70%~80%、80%~100%这6种类别的识别率达到80.78%,单次电池检测时间3 min,实现电池健康状态的快速检测。

基于深度学习的翻越行为检测

翻越行为检测对疫情管控、社会治安等有着重要意义,一定程度上可以减少因为违规翻越行为而造成的意外事故.针对目前翻越行为检测任务实时性差、需要先验知识的问题,本文将Faster RCNN+SlowFast时空行为检测算法应用在翻越行为检测任务中,将翻越行为进行拆分检测.为提高时空行为检测算法中目标的检测精度和速率将目标检测模块Faster RCNN改为实时性高且轻量化的YOLOv5;其次针对同一行为不同视角下广泛的类内多样性的问题,将Fast支路和Slow支路的residual block分别改为AC residual block和SE residual block来加强网络对关键特征与细粒度特征的学习能力,最后设计翻越行为检测算法进行攀爬与下降两种状态的连续性检测,实验结果显示该网络平均准确率达93.5%,在翻越行为检测中表现出良好的性能.

车载视角下基于视觉信息的前车行为识别

不同于传统车辆行为识别方法大多基于鸟瞰视角下的历史轨迹信息,该文提出了一种用于自动驾驶汽车的车载视角下基于视觉信息的前车行为识别方法。针对缺乏车辆行为数据集的问题,提出了基于车载视频信息的车辆行为标注方法,构建了车载视角下的行为识别数据集。设计了一种基于SlowFast网络为主体的车辆行为识别算法,设计了焦点损失函数,并引入非局部操作模块来替换原有的交叉熵损失函数。结果表明:相较于原SlowFast模型,新模型的总体准确率提高了20.56%,实现了对视频中前方多台车辆的行为识别。

基于DeepSORT的深基坑作业工序智能识别研究

为在深基坑施工时跟踪作业主体、识别施工进度,提出一种基于DeepSORT的作业工序智能识别方法。首先,采用DeepSORT模块,在分类动作之前赋予人员ID编号,丰富动作类别信息;其次,采用Yolov5实现人员目标检测;最后,利用迁移学习思想训练自定义数据集,避免样本量较少带来的过拟合问题。结果表明,该方法可以在一定程度上跟踪前后帧作业行为,反映施工进程,且各动作的识别准确率达到了90%,该研究结果可以较好地运用在深基坑作业工序的识别中,进一步提高施工监管效率。

面向水域人员的不安全行为识别算法与应用

为保障水域人员生命安全,针对水域环境人员不安全行为识别问题,提出一种基于Faster-RCNN+改进SlowFast的水域人员行为识别网络。主要工作包括以下几点:第一:根据采集的95段视频制作水域人员动作行为数据集,其中共有161687张快通道帧,5543张关键帧,共计标注框9173个。第二:使用Faster-RCNN+SlowFast模块化设计对水域人员动作行为数据集进行目标定位及行为分析,其实验结果表现良好,可以识别水域人员位置及行为。第三:提出一种与时域压缩策略相结合方式的改进SlowFast网络,结果表明改进SlowFast网络模型识别准确率提高5.0%,推理速度得到约1.14倍提升,实验证明可有效帮助识别水域人员的行为识别问题。

基于深度学习的自动扶梯视频人体动作识别

在自动扶梯场景下的视频人体动作识别中,视频数据源不稳定,如遮挡、多视角、光照、低分辨率、动态背景以及背景混乱等均导致动作分类及检测不准确。针对这些问题,提出使用基于改进的SlowFast网络的人体动作识别方法,以更好地捕获视频连续帧中隐藏的时间和空间信息。通过与R(2+1)D卷积网络模型的识别准确率进行对比,改进的SlowFast网络模型在视频中的动作分类和检测方面都表现了很好的性能,能够有效地解决自动扶梯场景下的人体动作识别问题。

基于深度学习的社区安防异常行为检测研究

在人工智能快速发展的浪潮下,社区监控安防体系得到逐步加强和完善,安防监控行业迎来了智能化升级阶段。在安防监控图像处理技术领域,传统的机器视觉算法很难做到高精度和快速识别监控中的异常行为。基于此,本文提出了一种基于Faster-RCNN+SlowFast网络的社区安防异常行为识别方法。该方法通过提取视频关键帧中时间和空间信息进行目标定位与行为分析,提高了识别精度和速率。通过实时分析视频监控中的人体动作,识别出社区中发生的打架、盗窃、破坏公物等行为,并将信息上报给社区安保系统。通过采取及时的预警措施,有效地维护了社区治安稳定。

Van der Pol型自激单摆的张弛振荡特性

含van der Pol型自激项的单摆系统是典型的自激机械系统,本文研究了该系统的张弛振荡特性.首先通过引入新的时间尺度和变量,把原系统表示成标准的快慢系统.然后基于几何奇异摄动理论,求得系统的慢变流形及其结构,从而证明了张弛振荡解的存在性,并进一步求得了张弛振荡解及其周期的近似表达式.理论结果表明,发生张弛振荡时,单摆快速通过其平衡位置,而在远离平衡位置的一段区域上停留较长时间,且存在两个分界点把快速运动和慢速运动分隔开.数值算例证明了理论分析的正确性.

基于时间相关性注意力的行为识别

针对行为识别任务中,行为体和动作状态变化速度不同以及缺少对动作间的相关性研究而引起的行为判别能力低和误判等问题,提出一种基于SlowFast架构的时间相关性注意力机制模型。首先,放弃光流而直接将视频数据作为网络输入,使模型可以进行端到端训练;其次,定义了一种由相关性注意力和时间注意力构成的时间相关性注意力机制,其中相关性注意力机制用于提取动作间的相关性信息;然后,将信息输入时间注意力机制来抑制无用特征;最后,针对SlowFast在路径融合过程中由于卷积核步长过大而导致的特征间相关性丢失问题,提出更有效的连续卷积操作进行替代。在UCF101和HMDB51两个数据集上进行实验,结果证明,所提方法与现有方法相比,精度和鲁棒性具有优势。

基于多特征融合网络的独居老人行为识别研究

为了识别独居老人的行为,选用NTURGB+D120数据集的23个医疗与日常行为类别的多场景视频作为数据集,并设计了一套高效特征融合策略。该策略改进了SlowFast网络的输入方式,使得改进后的网络能够同时处理输入的两个不同特征的图像序列,实现向量上的合并融合。实验结果表明,将使用AlphaPose网络获取的骨骼信息嵌入在红、绿、蓝(Red Green Blue,RGB)与红外图像序列中,作为网络输入,并得到行为识别的Top-1准确率与Top-5准确率,分别为91.58%与90.00%,与RGB单特征输入的Slow Fast网络识别的准确率相比较为提升。