基于深度学习的群体动作识别综述

不同于传统的简单动作识别,群体动作识别需要理解场景中由若干人物的单人动作和他们之间的交互动作构成的复杂语义.近年来,群体动作识别在公共安全监控、体育视频分析和社会角色理解等领域的研究与应用引起了学者们的广泛关注.但是现有能够帮助学者们快速了解研究概况的中文文献很少且用于归纳和分析的依据较为笼统.为此,本文旨在综述近十年来基于深度学习的群体动作识别的研究进展.首先,本文介绍了群体动作识别的问题与定义,总结了现有解决方案的核心流程和该研究的关键挑战.然后,本文针对现有研究中的两个核心内容,即个体动作特征的提取及其关联建模,对现有文献作出了归纳与分析.具体而言,本文介绍并总结了群体动作研究中常用的人体行为特征,并将现有关联建模类型归纳为三类,即线性关联、序列关联和图关联.此外,本文还列举了现有的十二种可用于群体动作研究的视频数据集,并在三个常用数据集上对目前流行的方法进行了对比与分析.最后,本文研判了几个更具挑战的未来研究趋势.综上,本文剖析了群体动作识别的核心研究思路及未来研究趋势,有助于相关研究人员快速了解群体动作识别的研究概况.

一种自适应遗传算法的聚类分析及应用

针对传统的聚类算法在聚类划分问题上还存在着划分效果能力较差等问题,在确保GA算法全局性能和收敛速度的前提下,设计了一种与进化代数相关联的交叉概率和与个体适应度相关联的变异概率。将该算法应用到图像聚类,实验仿真结果表明,对比于k均值聚类算法,该算法具有较好的聚类划分效果。

基于多模态多粒度图卷积网络的老年人日常行为识别

随着人口老龄化问题日益严重,人们对家庭环境中老年人的安全问题越来越重视.目前,国内外一些研究机构正在试图研究通过家用摄像头对老年人的日常行为进行智能化看护,实现对一些危险行为的预警、报警与报备.为了助推这些技术的产业化,主要研究如何自动识别出老年人的日常行为,如“喝水”“洗手”“读书”“看报”等.通过对老年人的日常行为视频的调研发现,老年人的日常行为语义具有非常明显的细粒度特性,如“喝水”与“吃药”两种行为的语义高度相似,且只有少量的关键帧能准确体现出其类别语义.为了有效解决老年人行为识别问题,提出一种新的多模态多粒度图卷积网络(multimodal and multi-granularity graph convolutional networks,MM-GCN),通过利用图卷积网络分别从人体骨骼点(“点”)和人体骨架(“线”)、关键帧(“面”)和视频提名段(“段”)两种模态对老年人行为进行建模,捕捉“点-线-面-段”这4种颗粒度对象下的语义信息.最后,在目前最大规模的老年人日常行为数据集ETRI-Activity3D(11万+视频段、50+行为类别)上进行老年人行为识别性能评测,相比于当前最好的方法,提出的MM-GCN方法取得了最高的识别性能.此外,为了验证MM-GCN方法对常规人体行为识别任务的鲁棒性能,在业界标准的NTU RGB+D数据集上进行实验,MM-GCN方法也表现出了很不错的性能.

基于类别注意实例归一化机制的人脸年龄合成

近年来,生成对抗网络(generative adversarial network,GAN)家族已在人脸年龄合成任务上取得了巨大的成功.然而,通过研究发现,在解决人脸年龄合成的问题时,即使是善于利用年龄先验信息的条件生成对抗网络(conditional generative adversarial network,CGAN),重要的人脸年龄相关信息在一程度上也会被丢弃.这是导致以CGAN为代表的GAN家族在人脸年龄合成上的性能到达瓶颈期的一个重要因素.为此,提出了一种类别注意实例归一化机制(class-aware instance normalization,CAIN).该机制能够灵活地嵌入到CGAN中,形成一种新的生成对抗网络模型,即CAIN-GAN.CAIN-GAN能够充分利用人脸年龄先验信息来进一步提高人脸年龄合成性能.在公开数据集上的实验结果表明,与其他几种GAN家族的方法对比,CAIN-GAN方法仅通过利用人脸年龄相关信息就能对人脸年龄合成性能进行提升.

基于全局-局部卷积神经网络的阻生牙分类

为了解决因牙齿位于口腔的局部区域,且阻生牙与正常牙之间的视觉差异性非常微小导致的观察口腔CT图片可能出现的误判的问题,提出了一种新的全局局部卷积神经网络模型(GL-CNN)。首先从全局图像与局部区域分别学习口腔CT图像中能够带有阻生牙判别信息的特征描述,然后将这两种学习到的特征进行整合来训练一个支持向量机(SVM)分类器。为了验证GL-CNN的性能,在收集的口腔CT图像数据集上用提出的GL-CNN方法与基准方法进行阻生牙分类对比实验,实验结果表明了GL-CNN方法具有更高的分类精度。

大数据:看不见的朋友

在日常生活中,当我们每天清晨起床,打开手机微博,会发现全是社会热点新闻;出门用滴滴打车,会看到整个城市交通实时的拥堵情况;一路上,依托于平安城市的联网监控保护着我们所有人的周身安全;中午吃饭打开美团,会找到全市最好吃的餐馆;放学回家休息打开抖音微视等视频分享APP,会推荐给我们感兴趣的小视频;假期出门旅行,我们通过人脸识别系统安全而快速地出境。大家不禁会问,是谁像知心的朋友在服务着我们与保护着我们?这一切背后的技术是什么呢?