精彩事件检测在体育视频语义分析领域具有很高的学术研究价值和广泛的市场应用前景.利用隐条件随机场(hidden conditional random field,HCRF)模型在表达和识别语义事件方面的强大功能,创新性地提出了一种融合了HCRF和情感激励模型(affe...精彩事件检测在体育视频语义分析领域具有很高的学术研究价值和广泛的市场应用前景.利用隐条件随机场(hidden conditional random field,HCRF)模型在表达和识别语义事件方面的强大功能,创新性地提出了一种融合了HCRF和情感激励模型(affective arousal model,AAM)的精彩事件检测方法.首先,通过精彩事件视频结构语义分析,定义了13种多模态语义线索,以准确描述精彩事件富含的语义信息;其次,在基于概念格的多模态语义线索聚类基础上,添加时域特征信息,以构建特征值加权的情感激励模型,得到了各类精彩事件的情感激励值;最后,在小规模训练样本情况下,有效建立了各类精彩事件检测的HCRF模型,基于视频语义镜头序列、情感激励值序列和精彩事件之间的映射关系,从多模态语义线索、视频结构语义、情感语义等多个维度挖掘了精彩事件的潜在规律,实现了同一HCRF模型下各类精彩事件的同时检测.实验证明了该方法的有效性.展开更多
行为识别在语义分析领域具有很高的学术研究价值和广泛的市场应用前景.为了实现对视频行为的准确描述,提出了2类构建稠密轨迹运动描述子的方法.1)通过光流约束和聚类,实现对运动区域的稠密采样,以获取行为的局部位置信息;2)选取目标运...行为识别在语义分析领域具有很高的学术研究价值和广泛的市场应用前景.为了实现对视频行为的准确描述,提出了2类构建稠密轨迹运动描述子的方法.1)通过光流约束和聚类,实现对运动区域的稠密采样,以获取行为的局部位置信息;2)选取目标运动角点为特征点,通过对特征点的跟踪获取运动轨迹;3)在以轨迹为中心的视频立方体内,分别构建三维梯度方向直方图(3Dhistograms of oriented gradients in trajectory centered cube,3DHOGTCC)描述子和三维光流梯度方向直方图(3Dhistograms of oriented optical flow gradients,3DHOOFG)描述子,用以对运动的局部信息进行准确描述.为了充分利用行为发生的场景信息,提出了一种融合动态描述子和静态描述子的行为识别新框架,使得动态特征与静态特征相互融合支撑,即使在摄像头运动等复杂场景下,亦能取得较好的识别效果.在Weizmann和UCF-Sports数据库采用留一交叉验证,在KTH和Youtube数据库采用4折交叉验证.实验证明了提出新框架的有效性.展开更多
文摘行为识别在语义分析领域具有很高的学术研究价值和广泛的市场应用前景.为了实现对视频行为的准确描述,提出了2类构建稠密轨迹运动描述子的方法.1)通过光流约束和聚类,实现对运动区域的稠密采样,以获取行为的局部位置信息;2)选取目标运动角点为特征点,通过对特征点的跟踪获取运动轨迹;3)在以轨迹为中心的视频立方体内,分别构建三维梯度方向直方图(3Dhistograms of oriented gradients in trajectory centered cube,3DHOGTCC)描述子和三维光流梯度方向直方图(3Dhistograms of oriented optical flow gradients,3DHOOFG)描述子,用以对运动的局部信息进行准确描述.为了充分利用行为发生的场景信息,提出了一种融合动态描述子和静态描述子的行为识别新框架,使得动态特征与静态特征相互融合支撑,即使在摄像头运动等复杂场景下,亦能取得较好的识别效果.在Weizmann和UCF-Sports数据库采用留一交叉验证,在KTH和Youtube数据库采用4折交叉验证.实验证明了提出新框架的有效性.
