基于三维人体语义模型的人行为自然语言描述

研究视频场景中人体行为自然语言描述的实现方法。首先建立三维人体的语义模型和主要的关节点运动模型,并建立人体运动语义描述基本数据库。应用图像自动场景标注技术来描述背景图像。通过人体简单动作的语义逻辑运算,得到人的组合动作和相互动作。将人的行为动作组合场景语义,从而准确描述出人在复杂场景的语义行为。最后建立简单的中文语法规则,得到人在场景中行为的自然语言描述。实验结果表明:与传统的二维模型相比,三维模型结合了场景语义并能解决遮挡问题,可以准确表达更为复杂的人类行为。

基于八元组视频语义模型的人体行为理解方法

目前的人体行为理解技术存在对噪声敏感,运算量大,没有关注场景敏感度,未进行事件整体描述的缺陷,并且存在理解结果与人类认知之间的语义鸿沟。一种八元组视频语义模型被提出,该模型既考虑了场景层次语义的理解,又融入了三维人体语义模型,引入了分析和综合的方法来实现视频事件的整体描述。实验结果显示:该方法在识别率和整体性能上都优于基于上下文无关(CFG)的行为识别方法,并在一定程度上解决了语义鸿沟问题。