灵长类动作理解(understanding of actions)的神经机制是认知神经科学研究的重要内容,它的阐明对于揭示灵长类特有的一些高级认知行为的本质和过程具有重要意义。就灵长类动物而言,个体对其同类做出动作的识别以及理解是其一切社会行为...灵长类动作理解(understanding of actions)的神经机制是认知神经科学研究的重要内容,它的阐明对于揭示灵长类特有的一些高级认知行为的本质和过程具有重要意义。就灵长类动物而言,个体对其同类做出动作的识别以及理解是其一切社会行为的基础,但是迄今为止我们对其动作理解的神经机制还知之甚少。随着镜像神经元成为近年来国外认知神经科学与认知人类学研究的热点,人们通过神经生理学和脑成像等技术,陆续发现和证明了其在灵长类动作理解过程中的重要作用。本文综述了近年来关于灵长类动作理解的镜像神经机制的研究成果,介绍了镜像神经元在灵长类动作理解过程中的一些新认识及其在该能力进化和发育等方面的作用,并对当前一些实验中遗留的问题与灵长类动作理解领域的未来研究方向作了反思与展望。展开更多
目的视频动作检测是视频理解领域的重要问题,该任务旨在定位视频中动作片段的起止时刻并预测动作类别。动作检测的关键环节包括动作模式的识别和视频内部时序关联的建立。目前主流方法往往试图设计一种普适的检测算法以定位所有类别的动...目的视频动作检测是视频理解领域的重要问题,该任务旨在定位视频中动作片段的起止时刻并预测动作类别。动作检测的关键环节包括动作模式的识别和视频内部时序关联的建立。目前主流方法往往试图设计一种普适的检测算法以定位所有类别的动作,忽略了不同类别间动作模式的巨大差异,限制了检测精度。此外,视频内部时序关联的建立对于检测精度至关重要,图卷积常用于全局时序建模,但其计算量较大。针对当前方法的不足,本文提出动作片段的逐类检测方法,并借助门控循环单元以较低的计算代价有效建立了视频内部的全局时序关联。方法动作模式识别方面,首先对视频动作进行粗略分类,然后借助多分支的逐类检测机制对每类动作进行针对性检测,通过识别视频局部特征的边界模式来定位动作边界,通过识别动作模式来评估锚框包含完整动作的概率;时序建模方面,构建了一个简洁有效的时序关联模块,利用门控循环单元建立了当前时刻与过去、未来时刻间的全局时序关联。上述创新点整合为类别敏感的全局时序关联视频动作检测方法。结果为验证本文方法的有效性,使用多种视频特征在两个公开数据集上进行实验,并与其他先进方法进行比较。在ActivityNet-1.3数据集中,该方法在双流特征下的平均mAP(mean average precision)达到35.58%,优于其他现有方法;在THUMOS-14数据集中,该方法在多种特征下的指标均取得了最佳性能。实验结果表明,类别敏感的逐类检测思路和借助门控循环单元的时序建模方法有效提升了视频动作检测精度。此外,提出的时序关联模块计算量低于使用图卷积建模的其他主流模型,且具备一定的泛化能力。结论提出了类别敏感的全局时序关联视频动作检测模型,实现了更为细化的逐类动作检测,同时借助门控循环单元设计了时序关联模块,提升了视频动作检测的精度。展开更多
文摘灵长类动作理解(understanding of actions)的神经机制是认知神经科学研究的重要内容,它的阐明对于揭示灵长类特有的一些高级认知行为的本质和过程具有重要意义。就灵长类动物而言,个体对其同类做出动作的识别以及理解是其一切社会行为的基础,但是迄今为止我们对其动作理解的神经机制还知之甚少。随着镜像神经元成为近年来国外认知神经科学与认知人类学研究的热点,人们通过神经生理学和脑成像等技术,陆续发现和证明了其在灵长类动作理解过程中的重要作用。本文综述了近年来关于灵长类动作理解的镜像神经机制的研究成果,介绍了镜像神经元在灵长类动作理解过程中的一些新认识及其在该能力进化和发育等方面的作用,并对当前一些实验中遗留的问题与灵长类动作理解领域的未来研究方向作了反思与展望。
文摘目的视频动作检测是视频理解领域的重要问题,该任务旨在定位视频中动作片段的起止时刻并预测动作类别。动作检测的关键环节包括动作模式的识别和视频内部时序关联的建立。目前主流方法往往试图设计一种普适的检测算法以定位所有类别的动作,忽略了不同类别间动作模式的巨大差异,限制了检测精度。此外,视频内部时序关联的建立对于检测精度至关重要,图卷积常用于全局时序建模,但其计算量较大。针对当前方法的不足,本文提出动作片段的逐类检测方法,并借助门控循环单元以较低的计算代价有效建立了视频内部的全局时序关联。方法动作模式识别方面,首先对视频动作进行粗略分类,然后借助多分支的逐类检测机制对每类动作进行针对性检测,通过识别视频局部特征的边界模式来定位动作边界,通过识别动作模式来评估锚框包含完整动作的概率;时序建模方面,构建了一个简洁有效的时序关联模块,利用门控循环单元建立了当前时刻与过去、未来时刻间的全局时序关联。上述创新点整合为类别敏感的全局时序关联视频动作检测方法。结果为验证本文方法的有效性,使用多种视频特征在两个公开数据集上进行实验,并与其他先进方法进行比较。在ActivityNet-1.3数据集中,该方法在双流特征下的平均mAP(mean average precision)达到35.58%,优于其他现有方法;在THUMOS-14数据集中,该方法在多种特征下的指标均取得了最佳性能。实验结果表明,类别敏感的逐类检测思路和借助门控循环单元的时序建模方法有效提升了视频动作检测精度。此外,提出的时序关联模块计算量低于使用图卷积建模的其他主流模型,且具备一定的泛化能力。结论提出了类别敏感的全局时序关联视频动作检测模型,实现了更为细化的逐类动作检测,同时借助门控循环单元设计了时序关联模块,提升了视频动作检测的精度。
