面向目标检测的多尺度运动注意力融合算法研究

运动目标检测是视频分析领域的关键技术之一,针对目前全局运动场景下目标检测算法的局限性,该文提出一种多尺度运动注意力融合的目标检测算法,为目标检测问题提供了新思路。该算法通过时-空滤波去除运动矢量场噪声,根据运动注意力形成机理定义运动注意力模型;为提高注意力计算的准确性,定义了目标像素块的测度公式,采用D-S证据理论对多尺度空间运动注意力进行决策融合,最终获取运动目标区域位置。多个不同高清视频序列的测试结果表明,该文算法在全局运动场景中能准确对目标进行检测定位,从而有效克服了现有算法的局限性。

一种新的视觉运动注意力计算方法

由于运动注意力模型不合理、光流估算的局限性和噪声影响,对于复杂运动场景,现有运动注意力计算方法往往不能准确计算出运动显著图。本文提出了一种新的运动注意力计算方法,该方法首先根据注意力形成机理构建运动注意力模型;在可变块大小运动估计的基础上计算运动注意力;最后采用空间多尺度融合得到最终的运动显著图。通过对多个高清视频序列的测试,表明本文提出的方法比现有方法更能准确地计算出运动显著图。

一种有效的MPEG视频运动注意力区域提取方法

提出了一种直接从MPEG压缩码流中提取运动注意力区域的方法,其核心思想是根据运动注意力区域本身的特性,利用位置、清晰度和运动矢量3部分信息以及相应的数学表达形式,构造出一个运动注意力参数,并在此基础上进行注意力区域的提取.由于该方法同时考虑了运动注意力区域在空间和时间两方面的特性,并且直接在压缩域中进行操作,因此在提取准确度和运算效率上均有较大提高.模拟结果表明,与现有仅考虑运动信息的提取方法相比,采用该方法提取的准确度可提高30%以上,基本上与人眼实际观测的结果相吻合;与传统的像素域中运动对象提取方法相比,运算时间可减少1/2左右,而且提取出的目标区域更加符合基于内容的视频分析要求.

基于运动注意力模块的多分支动作识别网络

最近几年视频动作识别的性能有了显著的提高。当前大多数网络是通过改变主干卷积神经网络来提高性能,或者通过改变主干网络来探索模型的效率和性能之间的权衡。但是大多数的工作在网络的最后都是全局平均池化层后接一个全连接层,这使得网络的表达能力不够好。为了解决这个问题,提出一个基于运动注意力模块的多分支网络来提高动作识别的性能,该网络首先使用运动注意力模块来捕获相邻帧之间的特征差异,从而在通道上增强运动相关的特征,抑制无关的背景信息,然后利用多分支结构提取全局特征和局部特征,并提高网络对更精细的细节的敏感能力。实验证明,提出的网络在Kinetics-400和Something-Something-V1数据集上实现了较好的识别精度。

基于视觉注意力计算的运动目标检测方法研究

为了更准确地在全局运动视频场景中检测运动目标,提出了一种基于运动注意力和粒子滤波自底向上和自顶向下相结合的运动目标检测方法。基于多尺度可变块运动估计估计运动矢量场(Motion Vector Filed,MVF),构建运动注意力模型,得到运动注意力显著图,继而得到运动注意力的初始分布;采用自顶向下的基于目标颜色信息的粒子滤波算法,调整运动注意力的分布状况;使注意力集中到待测目标上,并提取出待测运动目标。实验结果表明,该方法在全局运动场景中能更加准确地检测目标。

多尺度分析的运动注意力计算

目的由于光流估算的缺陷、噪声干扰以及现有运动注意力模型的局限性,导致运动注意力计算结果不能准确反映运动的显著性特征,制约了运动显著图的进一步应用。为提高运动注意力计算的准确性,提出一种基于时—空多尺度分析的运动注意力计算方法。方法该方法根据视觉运动注意力来自于时—空运动反差的注意力形成机理构建运动注意力模型;通过时间尺度滤波去除噪声影响;鉴于视觉观测对尺度的依赖性,通过对视频帧的多尺度分解,在多个空间尺度进行运动注意力的计算,根据宏块像素值的相关系数大小对低尺度、中低尺度和原始尺度的运动注意力计算结果进行融合,得到最终的运动注意力显著图。结果对多个视频测试序列的测试,测试结果表明,本文方法比同类方法更能真实有效地反映出视频场景中的运动显著性特征,大大提高了运动显著图的准确性。结论为有效提高运动注意力计算不准确的问题,提出一种基于时—空多尺度分析的运动注意力计算方法,对于不同复杂视频运动场景,该方法能明显增强运动注意力计算的准确性,为视觉运动注意力的进一步应用奠定了良好基础。

外观融合运动感知的运动目标分割算法

现实场景中的运动目标分割旨在分割当前场景下的运动物体,对于许多计算机视觉应用有着至关重要的作用。现有的运动目标分割算法大多通过2D光流图中的运动信息来分割运动物体,然而,这些方法还存在一些问题。当运动物体在极面内运动或者其3D运动方向和背景一致时,很难通过光流图分割得到;另外,错误的光流预测也会影响分割的结果。为了解决以上问题,提出了不同的运动代价,以提升运动目标分割的正确率。针对和背景共线或共面运动的物体,设计均衡重投影代价和多角度光流对比代价,通过运动物体的2D光流与背景2D光流的差异来检测运动物体。针对自我运动退化,设计差异单应性代价。最后,提出了一种基于外观融合的运动感知结构,以分割各种场景下的运动物体。采用多模态共同注意力门控,更有效地捕获运动特征和外观特征的关系,以促进外观特征和运动特征更好地交互。此外,为了突出运动的物体,提出了多层运动注意力模块,以减少冗余的外观特征对结果的影响。实验结果表明,所提方法在KITTI,JNU-UISEE,KittiMoSeg和Davis-2016数据集上均能获得较优的运动目标分割结果。

注意缺陷多动障碍动物模型冲动性的初步实验(英文)

背景:注意缺陷多动障碍存在着强化机制的异常,而冲动性是强化机制异常的主要表现。目的:探究注意缺陷多动障碍动物模型(自发高血压大鼠)冲动性的变化。设计:非随机对照,重复测量设计。材料:实验于1997-10/1998-01在挪威奥斯陆大学医学系生理实验室进行,选用12只雄性自发高血压大鼠和12只雄性WistarKyoto(WKY)大鼠。方法:实验在标准Campden连续反应测试箱中进行。实验每天从9:00开始进行一次,2d的适应训练后,大鼠每天禁水22h,进行盒式训练、塑型训练。采用长变异间期方案,共40d,90min/d,变异指数为180s。主要分析长变异间期方案最后10d稳定曲线的平均值,分析指标为大鼠按杠短反应间期,包括反应间期0.00～0.33s和反应间期0.33～0.66s。主要观察指标:大鼠按杠短反应间期及在不同阶段的变化。结果:24只大鼠全部进入结果分析。①短按杠反应间期:自发高血压大鼠0.00～0.33s和0.33～0.66s均多于WKY大鼠[(172.00±44.89),(10.86±2.94)次;(90.27±28.09),(11.78±3.76)次;t=12.51,9.65,P<0.01]。②将整个实验过程分为3个相同阶段,每段30min,自发高血压大鼠和WKY大鼠三个阶段的按杠短反应间期均无明显差异(P>0.05)。结论:自发高血压大鼠的冲动性较WKY大鼠强,强化机制异常,有助于了解注意缺陷多动障碍的发病机理及临床的治疗。

一种层次的电影视频摘要生成方法

合理地组织视频数据对于基于内容的视频分析和检索有着重要的意义。提出了一种基于运动注意力模型的电影视频摘要生成方法。首先给出了一种基于滑动镜头窗的聚类算法将相似的镜头组织成为镜头类;然后根据电影视频场景内容的发展模式,在定义两个镜头类的3种时序关系的基础上,提出了一种基于镜头类之间的时空约束关系的场景检测方法;最后利用运动注意力模型选择场景中的重要镜头和代表帧,由选择的代表帧集合和重要镜头的关键帧集合建立层次视频摘要(场景级和镜头级)。该方法较全面地涵盖了视频内容,又突出了视频中的重要内容,能够很好地应用于电影视频的快速浏览和检索。