基于多维动态拓扑学习图卷积的骨架动作识别

图卷积由于其对图数据的强大表示能力被广泛应用于基于骨架的动作识别任务中.但是现有的图卷积方法在所有帧或通道上都使用共享的图拓扑进行特征聚合,这极大限制了图卷积网络的表示能力.为了解决这些问题,本文提出多维动态拓扑学习图卷积用于动态建模具有时序与通道特异性的拓扑结构.多维动态拓扑学习图卷积主要包含三个组成部分:纯粹节点拓扑学习图卷积(pure Joint topology learning Graph Convolution,J-GC)、动态时序特异性拓扑学习图卷积(Dynamic Temporal-Wise topology learning Graph Convolution,DTW-GC)和通道特异性拓扑学习图卷积(Channel-Wise topology learning Graph Convolution,CW-GC).特别地,在DTW-GC中使用了动态骨架拓扑建模方法(Dynamic Skeleton Topology Learning,DSTL),以高效地建模富含全局时空拓扑特征的动态骨架拓扑.将多维动态拓扑学习图卷积与多尺度时间卷积(Multi-Scale Temporal Convolution,MS-TC)相结合,本文构建了具有强大建模能力的图卷积网络.此外,为了对骨架数据的空间信息进行补充,本文额外引入了相对节点数据和相对骨骼数据进行多流网络的融合.本文所提出的方法在NTU-RGB+D与NTU-RGB+D 120数据集上分别取得了92.64%和89.29%的准确率,超过了当前最先进方法.

时空卷积注意力网络用于动作识别

在视频动作识别任务中,无论是在视频的空间维度还是时序维度,如何充分学习和利用特征之间相关性,对最终识别性能的影响非常大。卷积操作通过计算邻域内特征点之间的相关性获得局部特征,而自注意力机制通过所有特征点之间的信息交互学习到全局信息。单个卷积层不具备在全局视角上学习特征相关性的能力,即使是重复堆叠多层也只是获得了若干个更大的感受野。自注意力层虽然具有全局视角,但其关注的核心仅是不同特征点所表达的内容联系,忽略了局部的位置特性。为了解决以上问题,提出了一种时空卷积注意力网络用于动作识别。时空卷积注意力网络由空间卷积注意力网络和时序卷积注意力网络共同组成。空间卷积注意力网络使用自注意力方法捕捉空间维度的表观特征联系,用一维卷积提取动态信息。时序卷积注意力网络通过自注意力方法来获取时序维度上帧级特征间的关联信息,用2D卷积学习空间特征。时空卷积注意力网络集成两种网络的共同测试结果来提升模型识别性能。在HMDB51数据集上进行实验,以ResNet50为基线,引入时空卷积注意力模块后,神经网络的识别准确率在空间流和时序流上分别提升了6.25和5.13个百分点。与当前先进方法进行比较,时空卷积注意力网络在UCF101和HMDB51数据集上均有明显优势。提出的时空卷积注意力网络能够有效地捕捉特征关联信息,该方法结合自注意全局联系和卷积局部联系的优势,提升了神经网络时空建模的能力。

多维特征激励网络用于视频行为识别

在动作识别任务中,由于视频数据存在内容多样和背景复杂的特性,因此提取有效的时空特征是研究的主要难点。为了利用深度网络学习时空特征,研究者们通常采用双流网络和3D卷积网络。但是,双流网络中光流信息缺乏捕获长距离时间关系的能力,且光流提取需占用很大的内存和时间;而3D卷积与2D卷积相比,增加了一个数量级的计算成本,容易导致过拟合和收敛缓慢。为解决以上问题,提出了一种基于注意力的多维度特征激励融合网络MFARs(Multi-dimensional Feature Activation Residual networks)用于视频行为识别。MFARs采用2D卷积网络解决时序特征表达学习问题,利用运动补足激励模块建模时序特征,激发时间通道运动信息;同时利用联合特征激励模块,通过时序特征激励通道和空间信息,以学习到更好的时空特征表达。MFARs在行为识别数据集UCF101和HMDB51上的准确度分别达到了96.5%和73.6%。与当前的主流行为识别模型相比,提出的多维特征激励方法能够有效地表达时空特征,更好地平衡复杂度和分类准确率。

注意力特征融合的孪生网络目标跟踪方法

为了解决目标跟踪过程中由于目标遮挡导致的跟踪漂移和背景干扰导致的跟踪失败问题,文中提出了一种多特征集成的孪生网络目标跟踪方法,引入特征融合模块和注意力模块构建多个区域生成网络跟踪器,以获得高效的判别特征表示及对复杂环境的分辨能力。首先将相邻两个残差块特征压缩激励后进行有效融合,以此加强特征信息;其次利用并行卷积注意力模块对特征图中包含在通道信息和空间信息中的干扰信息进行过滤;最后设计并提出了一种与集成学习类似的算法,通过构建两个跟踪器,分别接收深层语义特征与融合特征,对其进行加权训练,得到最终的跟踪结果。除此之外,为验证算法的有效性,文中还研究了不同融合方案、不同跟踪器训练权重比和不同模块的组合方式对模型的影响。在VOT2016和VOT2018数据集上的实验结果表明,提出的多特征集成方法与其他孪生网络目标跟踪算法相比,在保证算法高准确率的同时,能够有效提升目标跟踪的鲁棒性。

联合语义分割和深度估计的多任务学习研究

语义分割和深度估计任务是对图像像素级分类的研究,是两个高度相关的任务。从共享特征学习和特征交互融合两个角度出发,提出两个不同的多任务学习架构,即基于压缩激励模块(Squeeze-and-Excitation,SE)和金字塔池化的多任务学习网络(Multi-task Learning with SE and Pyramid Pooling,MTL_SPP),以及基于压缩激励和可选择权重(Selective Weight,SW)的多任务学习网络(Multi-task Learning with SE and Selective Weights,MTL_SSW),来联合学习语义分割和深度估计。MTL_SPP架构由共享骨干特征网络和任务特定的子网络组成,利用SE模块构建任务特定子网络,并利用金字塔池化增强特征提取。MTL_SSW在MTL_SPP的基础上,让任务特定子网络的语义分割特征和深度估计特征通过SW模块进行相互指导和优化,学习对特定任务更具判别性的特征。实验结果表明,提出的两种方法在NYUD_v2和SUNRGBD两个数据集上获得了优于先进方法的效果。

特征采样运动信息增强的动作识别方法

基于深度模型的视频动作识别通常先对输入视频进行采样,然后对获得的视频帧进行特征表达,输出动作类别,因此视频帧采样方法对动作识别的效果有直接的影响。为了采样到关键有效的特征,同时增强视频运动信息,提出了一种基于特征级采样策略的局部—全局运动信息增强的动作识别网络(local-global motion enhancement network, LGMeNet)。首先,利用特征级采样模块对输入数据进行相同运动信息间隔均匀取帧;其次,局部运动特征提取模块使用相似性函数计算单帧短期运动特征;最后,全局运动特征提取模块利用LSTM网络计算多尺度长期运动特征。通过实验评估,LGMeNet在UCF101和Something-SomethingV1数据集上分别取得了97.7%和56.9%的精确度。结果表明,采用LGMeNet能够有效提升动作识别的效果,对进一步改进相关领域的研究具有重要意义。

联合人体姿态估计和多目标跟踪的跨数据集学习

近年来,多目标跟踪任务获得了较大的进展,尤其是针对行人的多目标跟踪。通过对行人进行联合姿态估计,能够提升多目标跟踪算法对行人的运动预测,同时为更高阶的任务例如自动驾驶算法提供更多的信息。然而,在当前包含人体姿态估计标签的多目标跟踪数据集中,视频长度较短且目标稀疏,限制了多目标跟踪算法的研究。文中使用具有更多行人的多目标跟踪数据集MOT17和多人姿态估计数据集COCO进行跨数据集学习,基于循环训练策略有效提升了联合人体姿态估计下的多目标跟踪算法的性能。同时极化自注意力下采样和注意力上采样的使用,在提升算法训练速度的同时,增强了算法的人体姿态估计性能。

聚类集成中的差异性度量研究

集体的差异性被认为是影响集成学习的一个关键因素.在分类器集成中有许多的差异性度量被提出,但是在聚类集成中如何测量聚类集体的差异性,目前研究得很少.作者研究了7种聚类集体差异性度量方法,并通过实验研究了这7种度量在不同的平均成员聚类准确度、不同的集体大小和不同的数据分布情况下与各种聚类集成算法性能之间的关系.实验表明:这些差异性度量与聚类集成性能间并没有单调关系,但是在平均成员准确度较高、聚类集体大小适中和数据中有均匀簇分布的情况下,它们与集成性能间的相关度还是比较高的.最后给出了一些差异性度量用于指导聚类集体生成的可行性建议.

一种基于多级空间视觉词典集体的图像分类方法

针对单一特征时存在提取的信息量不足,对图像内容描述比较片面,提出将传统的SIFT特征与KDESG特征进行串行融合,生成一个联合向量作为新的特征向量.针对传统的视觉词典构造方法缺乏考虑视觉词汇在空间的分布特点,本文引入图像空间信息,提出了一种空间视觉词典的构造方法,先对图像进行空间金字塔划分,再把空间各子区域内的特征分别聚类,构建属于对应子空间区域的空间视觉词典.在图像表示阶段,图像各子区域内的特征基于其对应的空间视觉词典进行LLC稀疏编码,根据各子区域对图像贡献程度的不同,把编码后各子区域的特征向量赋予不同的权重加权处理,再连接形成最终的图像描述.最后,利用线性SVM进行图像分类,实验结果表明了本文方法的有效性和鲁棒性.

基于深度学习的视频中人体动作识别进展综述

视频中的人体动作识别是计算机视觉领域内一个充满挑战的课题.不论是在视频信息检索、日常生活安全、公共视频监控,还是人机交互、科学认知等领域都有广泛的应用.本文首先简单介绍了动作识别的研究背景、意义及其难点,接着从模型输入信号的类型和数量、是否结合了传统特征提取方法、模型预训练三个维度详细综述了基于深度学习的动作识别方法,及比较分析了它们在UCF101和HMDB51这两个数据集上的识别效果.最后分别从视频预处理、视频中人体运动信息表征、模型学习训练这三个角度对未来动作识别可能的发展方向进行了论述.

视频行为识别综述

目前行为识别发展迅速,许多基于深度网络自动学习特征的行为识别算法被提出。深度学习方法需要大量数据来训练,对电脑存储、运算能力要求较高。在回顾了当下流行的基于深度网络的行为识别方法的基础上,着重综述了基于手动提取特征的传统行为识别方法。传统行为识别方法通常遵循对视频提取特征并进行建模和预测分类的流程,并将识别流程细分为以下几个步骤进行综述:特征采样、特征描述符选取、特征预/后处理、描述符聚类、向量编码。同时,还对评价算法性能的基准数据集进行了归纳总结。

集成多特征与稀疏编码的图像分类方法

采用单一特征时存在提取信息量不足、对图像内容描述较片面等问题,单一编码方法在组织特征向量时也会对图像造成过多的信息丢失.针对这些问题,文中提出一种集成多特征与稀疏编码方法.首先,对图像进行空间金字塔划分,结合尺度不变特征和梯度方向直方图特征之间的优势互补性,提取得到不同的特征集.然后,在不同的特征集上用不同的聚类方法得到不同的视觉词汇本,在每个词汇本上分别进行局部稀疏编码和稀疏编码,得到不同的图像描述集.最后,利用线性SVM进行图像分类,并对得到的多个结果采用投票决策方法决定最终分类情况.实验表明文中方法有良好的准确性和鲁棒性.

基于KL散度及多尺度融合的显著性区域检测算法

基于对超像素颜色概率分布间KL散度的计算,以及对多尺度显著图的融合处理,该文提出一种新的显著性区域检测算法。首先,采用超像素算法多尺度分割图像,在各尺度下用分割产生的超像素为节点,并依据超像素分割数量对各超像素进行适当邻接连通扩展,构建无向扩展闭环连通图。其次,依据颜色判别力聚类量化各超像素内颜色,统计颜色聚类标签的概率分布,用概率分布间KL散度的调和平均值为扩展闭环连通图的边加权,再依据区域对比度并结合边界连通性,获取各尺度下的显著图。最后,平均融合各尺度下显著图,并进行优化处理,得到最终的显著图。在一些大型参考数据集上进行大量实验表明,所提算法优于当前一些先进算法,具有较高精确度和召回率,并且可以产生平滑显著图。

研究生创新能力培养策略的研究与探索

研究生创新能力的培养和提高是一所高校学术研究水平和办学实力的综合体现。高校及科研院所肩负着为国家、社会培养高层次优秀人才的重任,应当以提高研究生综合素质为核心,以培养高素质创新型人才为目标,把提高研究生创新能力作为研究生教育的根本落脚点。潜心研究、积极创新、勇于突破,最终摸索出适合新时代要求的具有社会主义中国特色的研究生培养策略和教育新观念。文章分析了研究生创新能力培养的现状及相关研究,并结合实际提出了可行性建议。

基于区域与深度残差网络的图像语义分割

该文提出了一种结合区域和深度残差网络的语义分割模型。基于区域的语义分割方法使用多尺度提取相互重叠的区域,可识别多种尺度的目标并得到精细的物体分割边界。基于全卷积网络的方法使用卷积神经网络(CNN)自主学习特征,可以针对逐像素分类任务进行端到端训练,但是这种方法通常会产生粗糙的分割边界。该文将两种方法的优点结合起来:首先使用区域生成网络在图像中生成候选区域,然后将图像通过带扩张卷积的深度残差网络进行特征提取得到特征图,结合候选区域以及特征图得到区域的特征,并将其映射到区域中每个像素上;最后使用全局平均池化层进行逐像素分类。该文还使用了多模型融合的方法,在相同的网络模型中设置不同的输入进行训练得到多个模型,然后在分类层进行特征融合,得到最终的分割结果。在SIFT FLOW和PASCAL Context数据集上的实验结果表明该文方法具有较高的平均准确率。

行为识别中一种基于融合特征的改进VLAD编码方法

本文提出了一种新的基于融合特征的改进VLAD(Vector of Locally Aggregated Descriptors)编码方法,该方法命名为IVLAD(Improved Vector of Locally Aggregated Descriptors),将其应用于行为识别算法中,得到了较好的性能提升.针对单一特征描述符在描述视频空间信息的不足,提出将位置信息映射到特征空间中进行融合编码得到表示向量.在编码阶段为了克服传统VLAD方法只考虑特征与聚类中心距离的不足,提出在其基础之上另外计算每个聚类中心与其最相似特征的差值.为了进一步提高识别准确度,本文还提出对表征向量自身串联用以升维.另外本文还研究了不同词典大小及归一化方法对于识别算法的影响.在两个大型数据库UCF101及HMDB51上的实验比较表明,本文提出的方法比传统VLAD方法具有较大的性能提升.

基于OGRE引擎的虚拟场景浏览

虚拟现实技术的虚拟交互性得到了越来越广泛地应用,虚拟场景浏览技术有效地解决了现实世界的时空局限等瓶颈问题。在对虚拟现实(3I)原理研究分析的基础上,依据插件设计的思想,设计了一种基于OGRE引擎的虚拟场景浏览框架,框架明确的包含两个端:渲染端和控制端。渲染端封装了OGRE渲染引擎,实现了快速实时的渲染;控制端,通过建立虚拟漫游交互机制来完成虚拟场景与外设的实时控制。基于OGRE八叉树的场景管理、射线查询算法、寻路算法、物体的拣取、RTT等技术的运用实现了用户与虚拟环境的交互系统,用户操作信号输入到计算机中并作用于虚拟环境,创建实时渲染处理结构,实现人与虚拟环境的实时快速的交互;基于OpenAL,OggSound的音效系统,克服了用户在场景浏览时的单调与乏味,更具真实感,丰富了场景浏览的真实性。在实践中应用OGRE图形引擎、CEGUI界面库、OpenAL,OggSound声音库实现了该系统。

一种基于多尺度Retinex算法的图像去雾方法

在有雾天气条件下拍摄的图像,由于大气的散射作用,导致图像的内容模糊不清,对比度下降,给交通系统及户外视觉系统的应用带来严重的影响。通过改进大气物理退化模型,在多尺度Retinex算法MSR(Multi-Scale Retinex)的基础上,提出一种新的去雾方法。该方法根据雾天成像机理对图像建立模型,再根据MSR算法对建模后的图像进行处理。实验表明,该方法能有效去除雾化效果,实现彩色退化图像的复原。

基于深度学习的目标检测研究综述

目标检测是计算机视觉领域内的热点课题,在机器人导航、智能视频监控及航天航空等领域都有广泛的应用.本文首先综述了目标检测的研究背景、意义及难点,接着对基于深度学习目标检测算法的两大类进行综述,即基于候选区域和基于回归算法.对于第一类算法,先介绍了基于区域的卷积神经网络(Region with Convolutional Neural Network,R-CNN)系列算法,然后从四个维度综述了研究者在R-CNN系列算法基础上所做的研究:对特征提取网络的改进研究、对感兴趣区域池化层的改进研究、对区域提取网络的改进研究、对非极大值抑制算法的改进研究.对第二类算法分为YOLO(You Only Look Once)系列、SSD(Single Shot multibox Detector)算法及其改进研究进行综述.最后根据当前目标检测算法在发展更高效合理的检测框架的趋势下,展望了目标检测算法未来在无监督和未知类别物体检测方向的研究热点.

像素点特征加权的尺度自适应跟踪算法

针对目标运动过程中的姿态变化、旋转、干扰以及缩放等情况,提出了结合像素点特征加权的尺度自适应跟踪算法。首先利用目标区域中每个像素点的颜色特征和位置特征,建立目标模型;其次用目标的平均权值图估算尺度变化系数,以实现目标尺度的自适应;最后构建一个更新模型,对跟踪过程中的目标模型和背景模型进行更新。实验表明,提出的算法充分利用目标区域内各像素点间的差异,可以做到快速、有效的跟踪,且具有较强的顽健性。