数字媒体理解验证平台与应用示范研究2013年度报告

该研究在数字媒体理解算法验证平台、智能视频监控应用示范和网络互动电视搜索应用示范等方面已取得成果,并在相关核心技术领域取得突破。在数字媒体理解算法验证平台方面,该研究采集了超过2 000 h的影视视频数据,主要为影视播出节目内容,累计多媒体数据已经超过20TB,为算法验证平台提供了充足的数据支持。该研究的团队还积极参与组织了国际算法评测活动,并发挥了重要作用。在智能视频监控应用示范方面,针对实际应用场景,该研究深入研究了单摄像机条件下车辆的检测与跟踪、多摄像机条件下融合、跨摄像机条件下对齐算法和时空联合特征提取等算法有效地提升了监控系统的性能。在网络互动电视应用示范方面,该研究成果已在东方有线后台试运营,并在与中国电信IPTV进行了视频搜索后台合作研发,预计明年初进入实际部署阶段。

“数字媒体理解的理论与方法研究”项目立项报告

当前随着数字媒体应用的广泛化和深入化,数字媒体理解面临着媒体对象复杂性、媒体数据规模化、应用需求多样化等挑战问题,已成为制约数字媒体应用发展的瓶颈。为了解决这些难题,必须研究媒体内容的有效表示、建立符合人类媒体认知的计算模型、充分利用计算机处理的优势,并且实现三者的有机结合。为达到上述研究目标,需要重点解决3个关键科学问题:针对媒体认知具有的层次性、整体性,构建符合媒体理解层次性和整体性的理论框架;针对媒体对象固有的多义性、多态性,发展刻画媒体对象多义性和多态性的表示体系;针对媒体计算应有的协同性、高效性,突破制约媒体处理协同性和高效性的技术瓶颈。围绕这3个关键科学问题的解决,该项目将研究内容分为科学问题解决、关键技术攻关、典型应用示范等3个层次,认知机理与计算模型、表示框架与特征描述、融合机制与学习算法、验证平台与应用示范等4个方面,设置了以下6个课题:(1)视觉认知的层次性与整体性机制;(2)媒体认知的层次化计算理论与模型;(3)面向多义性对象的学习理论和方法;(4)多模态高维异构数据的特征提取与描述方法;(5)跨媒体分析的理论和方法;(6)数字媒体理解验证平台与应用示范。