基于多模态多粒度图卷积网络的老年人日常行为识别

随着人口老龄化问题日益严重,人们对家庭环境中老年人的安全问题越来越重视.目前,国内外一些研究机构正在试图研究通过家用摄像头对老年人的日常行为进行智能化看护,实现对一些危险行为的预警、报警与报备.为了助推这些技术的产业化,主要研究如何自动识别出老年人的日常行为,如“喝水”“洗手”“读书”“看报”等.通过对老年人的日常行为视频的调研发现,老年人的日常行为语义具有非常明显的细粒度特性,如“喝水”与“吃药”两种行为的语义高度相似,且只有少量的关键帧能准确体现出其类别语义.为了有效解决老年人行为识别问题,提出一种新的多模态多粒度图卷积网络(multimodal and multi-granularity graph convolutional networks,MM-GCN),通过利用图卷积网络分别从人体骨骼点(“点”)和人体骨架(“线”)、关键帧(“面”)和视频提名段(“段”)两种模态对老年人行为进行建模,捕捉“点-线-面-段”这4种颗粒度对象下的语义信息.最后,在目前最大规模的老年人日常行为数据集ETRI-Activity3D(11万+视频段、50+行为类别)上进行老年人行为识别性能评测,相比于当前最好的方法,提出的MM-GCN方法取得了最高的识别性能.此外,为了验证MM-GCN方法对常规人体行为识别任务的鲁棒性能,在业界标准的NTU RGB+D数据集上进行实验,MM-GCN方法也表现出了很不错的性能.

基于多模态结合的老年痴呆识别

有研究表明,老年痴呆患者是可以通过筛查实现预测和预防的。本研究提出了一种基于多模态结合的老年痴呆识别方法,通过移动终端采集多种模态数据,多模态数据决策结合分析实现老年痴呆识别方法,旨在提高老年痴呆检测的识别准确率与覆盖率。