基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别方法

识别非驾驶行为是提高驾驶安全性的重要手段之一。目前基于骨架序列和图像的融合识别方法具有计算量大和特征融合困难的问题。针对上述问题,本文提出一种基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别模型(skeleton-image based behavior recognition network,SIBBR-Net)。SIBBR-Net通过基于多尺度图的图卷积网络和基于局部视觉及注意力机制的卷积神经网络,充分提取运动和外观特征,较好地平衡了模型表征能力和计算量间的关系。基于手部运动的特征双向引导学习策略、自适应特征融合模块和静态特征空间上的辅助损失,使运动和外观特征间互相引导更新并实现自适应融合。最终在Drive&Act数据集进行算法测试,SIBBR-Net在动态标签和静态标签条件下的平均正确率分别为61.78%和80.42%,每秒浮点运算次数为25.92G,较最优方法降低了76.96%。

基于可见光机器视觉的危险行为图像识别方法

目的探讨一种基于可见光机器视觉的危险行为图像识别方法。方法通过拉普拉斯分解处理低通滤波图像,减轻奇异点邻域振荡,随后引入区域生长算法生成新区域。采用光谱与形状差异度量准则控制种子区域扩展,并利用差分进化算法优化边界阈值,实现危险区域精确分割。随后使用YOLO模型结合特征金字塔技术增强卷积效果,精确提取人员位置。同时,结合联合学习与嵌入范式,提取人员、物体及其时序特征,并采用异步交互聚合网络更新特征信息,最终实现危险行为的识别。结果所提方法在危险区域分割和危险行为识别上均表现出显著优势。分割结果边界清晰、完整,识别结果准确率高,mAP值明显优于其他对比方法。结论该方法有效解决了复杂场景下危险行为识别的问题,具备强鲁棒性和适应性,为危险行为监测提供了高效、智能化的解决方案,具有广阔的应用前景。

基于计算机视觉的智能监控与行为识别分析

目前的监控系统主要分为红外线报警系统和视频监控系统,红外线系统在复杂环境下的监控效果会受到一定的干扰,而视频监控系统则需要占据大量的数据存储资源,两者都存在一定的不足。本文基于计算机视觉技术设计了一种智能监控与行为识别系统,充分利用了Visual Studio和MFC框架,并结合Open CV计算机视觉库来实现整个系统的设计,同时,系统采用高斯混合背景分离法来实现目标提取,然后通过阈值二值处理方式实现背景分离,最后通过Camsjift和卡尔曼滤波进行目标跟踪并发出报警提示,实践表明具有较好的监控效果和行为识别能力。

基于改进双流视觉Transformer的行为识别模型

针对现有行为识别方法中抗背景干扰能力差和准确率低等问题,提出了一种改进的双流视觉Transformer行为识别模型。该模型采用分段采样的方法来增加模型对长时序列数据的处理能力;在网络头部嵌入无参数的注意力模块,在降低动作背景干扰的同时,增强了模型的特征表示能力;在网络尾部嵌入时间注意力模块,通过融合时域高语义信息来充分提取时序特征。文中提出了一种新的联合损失函数,旨在增大类间差异并减少类内差异;采用决策融合层以充分利用光流与RGB流特征。针对上述改进模型,在基准数据集UCF101和HMDB51上进行消融及对比实验,消融实验结果验证了所提方法的有效性,对比实验结果表明,所提方法相比时间分段网络在两个数据集上的准确率分别提高了3.48%和7.76%,优于目前的主流算法,具有较好的识别效果。

基于语言-视觉对比学习的多模态视频行为识别方法

以对比语言-图像预训练(Contrastive language-image pre-training, CLIP)模型为基础,提出一种面向视频行为识别的多模态模型,该模型从视觉编码器的时序建模和行为类别语言描述的提示学习两个方面对CLIP模型进行拓展,可更好地学习多模态视频表达.具体地,在视觉编码器中设计虚拟帧交互模块(Virtual-frame interaction module, VIM),首先,由视频采样帧的类别分词做线性变换得到虚拟帧分词;然后,对其进行基于时序卷积和虚拟帧分词移位的时序建模操作,有效建模视频中的时空变化信息;最后,在语言分支上设计视觉强化提示模块(Visual-reinforcement prompt module,VPM),通过注意力机制融合视觉编码器末端输出的类别分词和视觉分词所带有的视觉信息来获得经过视觉信息强化的语言表达.在4个公开视频数据集上的全监督实验和2个视频数据集上的小样本、零样本实验结果,验证了该多模态模型的有效性和泛化性.

基于计算机视觉技术的石化码头不安全行为智能识别

石化码头不安全作业行为会导致安全事故发生,造成人员生命财产损失。提出了一种利用计算机分析和处理图像或视频的计算机视觉技术,用于智能识别石化码头上人员作业时的不安全行为;介绍了该技术的数据采集、算法逻辑和特点,以及相关配套软件系统的部署方式和功能模块的作用。实际应用表明:该技术可以实现重点生产场所、重要高风险工作等的视觉监测,提升企业安全管理的效率。

基于机器视觉技术和多尺度时空特征的监控视频人体异常行为识别

监控容易受到光流动态特征影响,无法精准识别人体异常行为。为此,提出了基于机器视觉技术和多尺度时空特征的监控视频人体异常行为识别方法。构建异常行为多尺度时空特征矩阵,剔除无用兴趣点;提取多尺度时空特征矩阵连续帧人体轮廓高与宽、人体姿态变化的前一帧与当前帧及人体轮廓点到轮廓中心距离;通过判断跳、蹲和爬异常行为轨迹,实现对人体异常行为识别。试验结果表明,所提方法识别的跳、蹲、爬异常行为与实际数值最大误差分别为0.2 m、0.02 m和0.01 m,具有精准的识别效果。

基于机器视觉的化工厂员工危险作业行为识别研究

基于机器视觉的化工厂员工危险作业行为识别研究旨在通过先进的机器视觉技术,有效识别和预防化工场所的安全事故,增强员工安全生产意识,保障生产安全。文章分析了从常见的化工厂员工危险作业行为识别,到机器视觉技术方法的概述,再到图像的采集、预处理及基于机器视觉的石化场景中人员危险行为的具体识别方法,最后提出了后续研究方向建议。

基于机器视觉的电力营销计量现场作业违规行为识别方法

由于电力营销计量现场作业存在设备布局多样性,导致识别误差较大,因此设计一种基于机器视觉的电力营销计量现场作业违规行为识别方法。首先基于机器视觉技术,有效处理电力营销计量现场作业图像,提取出与违规行为密切相关的特征。然后构建一个电力营销计量现场作业违规行为识别模型,实现电力营销计量现场作业违规行为识别。实验结果表明,设计方法能较为准确地识别出图像中的违规行为,且误差范围较小,大部分动作样本的平均识别误差在10像素以内,最大识别误差也控制在25像素以内。

基于改进视觉自注意力模型的分心驾驶行为识别研究

针对分心驾驶行为识别问题,文章提出一种基于改进视觉自注意力模型的方法,构建了模型ViT_CR,用于估计驾驶员头部姿势,通过多任务学习提高角度预测精度,在数据集AFLW上预测误差MAE为4.61;运用ViT_CR处理连续视频帧,并基于分心驾驶识别原则设定安全阈值与辅助参数判断驾驶员是否处于分心状态。实验表明,在真实驾驶数据集Dimags上,该方法能有效利用头部姿势的时序信息进行识别,为分心驾驶监测及预警提供了一种新的思路。

机器视觉识别单只蛋鸡行为的方法

动物行为是一个重要的动物福利评价指标。为了实现对蛋鸡行为的自动监控,该文提出了利用计算机视觉技术对单幅蛋鸡图像进行行为识别的方法,可自动识别单只蛋鸡的运动、饮水、采食、修饰、抖动、休息、拍翅膀、探索、举翅膀的行为,并可长时间追踪蛋鸡的活动情况及运动轨迹。运动、采食和饮水通过追踪蛋鸡的位移和位置直接识别;拍翅膀、修饰、休息、探索、抖动、举翅膀则使用贝叶斯分类法基于10个特征量进行识别,所引入的蛋鸡上下轮廓到最小二乘拟合椭圆长轴距离的相关系数可有效追踪蛋鸡头部,从而提高了修饰和探索的识别率。对9219幅图像进行蛋鸡行为识别的识别率分别为:运动99.4%、饮水80.7%、采食87.3%、修饰81.6%、抖动69.8%、休息86.2%、拍翅膀100%、探索(包括啄食)54.0%、举翅膀64.6%。

基于骨骼的人体行为识别方法研究综述

人体行为识别在视频理解中发挥了重要作用.近年来,基于骨骼的行为识别方法因其对复杂环境的干扰更具鲁棒性而受到广泛关注.文中共整理了102种基于骨骼的人体行为识别方法,并在9个公开数据集上对其进行了对比分析.按照特征学习方式的不同,分别介绍了基于手工特征的方法和基于深度学习的方法.其中,基于手工特征的方法按特征描述符的不同分为几何描述符、动力学描述符、统计描述符3个子类;基于深度学习的方法按网络主体的不同分为循环神经网络、卷积神经网络、图卷积网络、Transformer和混合网络5个子类.通过以上分析,不仅阐述了基于骨骼的行为识别方法的发展历程,还剖析了现有方法存在的泛化能力不强、计算成本高等局限.最后,从网络结构设计、相似动作区分、领域数据集拓展、多人交互等方面对未来研究方向进行了展望.

基于机器视觉技术的动物行为自动识别和分类

动物行为能为判断动物的心理和生理提供依据,当前的动物行为分析研究是基于人工观察的结果进行统计分析,主观性影响很大。文章介绍了借助机器视觉技术对动物行为进行自动识别,比较了各研究中的视频获取装置及反映动物行为的特征参数的不同,并阐述了利用机器学习技术构建能自动完成对动物行为分类的分类器,为后期的研究工作提供参考。

SlowFast架构下景区异常行为识别算法及预警研究

针对当前古建筑场景下人员异常行为识别相关实例缺乏、数据集少、古建筑级别低、质量次,导致人员异常行为识别准确率低等问题,该文在古建筑景区背景下自行拍摄了多组视频,从中挑选构建了人员异常行为动作的5033段视频数据集:具有明确的典型古建筑背景;具有多人场景下暴恐打架斗殴、刻划、刻画以及存在火灾风险的人员异常行为等特征,并对每个视频进行了注释。该文首次于SlowFast网络框架中成功引入信号时域特征活动性、移动性参数,对构建的数据集进行高阶时序特征建模、增加分类算子。在人员异常行为识别任务中,模型的Top1准确率达到93.54%,而平均准确率达到96.30%,在SlowFast模型中引入活动性、移动性算子后,模型识别的准确率提升了0.87%。与几种常见架构的算法相比,该文所提出的方法存在一定的优势。

机器视觉感知三维图像中的人体行为识别算法

研究机器视觉感知中的人体行为准确识别问题。机器视觉感知中,采集的信息多为二维平面信息,在合成三维图像感知信息过程中,传统的因式分解合成法运用形状基数量固定,很难表达复杂行为特征,造成行为特征会出现一定的偏差,人体行为识别准确性不高。为了避免上述缺陷,提出了一种新的机器视觉感知中的人体三维行为识别算法。采集人体行为图像,并检测图像的轮廓区域,对检测区间间隙初始划分,通过把三维不定特征在三维空间进行空间映射,完成模糊性的消除,为人体三维行为识别提供数据基础。根据提取的消除模糊性后的人体三维行作为特征分量,对人体三维行为进行识别。实验结果表明,利用这种算法进行人体三维行为识别,能够准确的识别人体的行为,极大地提高了人体行为识别的准确率。

融合空间-时间双网络流和视觉注意的人体行为识别

该文受人脑视觉感知机理启发,在深度学习框架下提出融合时空双网络流和视觉注意的行为识别方法。首先,采用由粗到细Lucas-Kanade估计法逐帧提取视频中人体运动的光流特征。然后,利用预训练模型微调的GoogLeNet神经网络分别逐层卷积并聚合给定时间窗口视频中外观图像和相应光流特征。接着,利用长短时记忆多层递归网络交叉感知即得含高层显著结构的时空流语义特征序列;解码时间窗口内互相依赖的隐状态;输出空间流视觉特征描述和视频窗口中每帧标签概率分布。其次,利用相对熵计算时间维每帧注意力置信度,并融合空间网络流感知序列标签概率分布。最后,利用softmax分类视频中行为类别。实验结果表明,与其他现有方法相比,该文行为识别方法在分类准确度上具有显著优势。

基于深层动态特征双流网络的高效行为识别算法

为了更高效地获得视频中的行为信息,提出一种结合时域卷积与双流卷积网络的人体行为识别算法。利用多层时域卷积从视频获取动态信息,得到二维的深层动态特征;构建双流卷积网络并采用深层动态特征代替光流特征作为运动信息流的输入;加权融合双流结果,获得对行为的判定。在公开数据集UCF101、HMDB51与NTU-RGBD-60测试,最高准确率为94.2%、70.9%与89.1%(跨对象实验)。当与经典算法ECO(Efficient Convolutional Network)和TSM(Temporal Shift Module)准确率相近时,平均并行速度分别提高2.1倍和3.6倍。所研究算法提高了计算效率,更具有实用性。

快递暴力分拣行为视觉识别系统

目的为实时监测快递分拣过程中粗暴对待包裹的行为,设计一款基于树莓派+EdgeTPU的快递暴力分拣人体行为视觉识别系统。方法基于TensorFlow深度学习框架,使用PoseNet模型实时采集人体姿态数据,通过LSTM+Attention模型实现人体动作识别,结合MobileSSD进行场景识别,最终实现暴力分拣人体行为视觉识别。结果实验证明,文中提出的视觉识别方法可以实现暴力分拣5种动作的快速、准确识别,LSTM+Attention人体动作分类模型的测试准确率达到了80%。结论基于该方法构建的嵌入式暴力分拣行为识别系统,可以实时监测快递分拣中粗暴对待包裹的行为,并实时地告警。

一种基于计算机视觉的日常行为识别方法

人的行为理解与描述是近年来被广泛关注的研究热点和难点。本文设计了一个利用视频序列对人的日常行为进行识别的系统,本系统由图像处理模块和图像理解模块组成,图像处理模块主要实现图像的预处理和人体的正确分割,图像理解模块则完成人体动作的识别。利用本系统对人的日常生活中的"站"、"躺"、"蹲"、"坐"、"弯腰"等五种动作进行识别,试验结果表明本方法在实践中是可行的。在虚拟现实、视觉监控、感知接口等领域均有着广阔的应用前景。

基于机器视觉的猪个体身份和行为识别

生猪的进食、排泄等行为与其健康水平密切相关,实时监控并识别猪栏中猪只的行为对猪舍管理和疾病预防具有重要的意义。本文引入非接触式的机器视觉技术,识别并记录生猪的进食、排泄时间以及次数。通过与正常生猪标准值的对比判断生猪行为是否发生异常,对异常行为进行报警并预测是否发生疾病。结果表明,本系统的疾病预测准确率达88.23%,具有较高的应用价值。