“数字媒体理解的理论与方法研究”项目立项报告

当前随着数字媒体应用的广泛化和深入化,数字媒体理解面临着媒体对象复杂性、媒体数据规模化、应用需求多样化等挑战问题,已成为制约数字媒体应用发展的瓶颈。为了解决这些难题,必须研究媒体内容的有效表示、建立符合人类媒体认知的计算模型、充分利用计算机处理的优势,并且实现三者的有机结合。为达到上述研究目标,需要重点解决3个关键科学问题:针对媒体认知具有的层次性、整体性,构建符合媒体理解层次性和整体性的理论框架;针对媒体对象固有的多义性、多态性,发展刻画媒体对象多义性和多态性的表示体系;针对媒体计算应有的协同性、高效性,突破制约媒体处理协同性和高效性的技术瓶颈。围绕这3个关键科学问题的解决,该项目将研究内容分为科学问题解决、关键技术攻关、典型应用示范等3个层次,认知机理与计算模型、表示框架与特征描述、融合机制与学习算法、验证平台与应用示范等4个方面,设置了以下6个课题:(1)视觉认知的层次性与整体性机制;(2)媒体认知的层次化计算理论与模型;(3)面向多义性对象的学习理论和方法;(4)多模态高维异构数据的特征提取与描述方法;(5)跨媒体分析的理论和方法;(6)数字媒体理解验证平台与应用示范。

一种融合神经稀疏编码机制的层次目标识别算法

针对基本层次化目标识别计算模型缺乏明确学习概念和有效学习方法的问题,利用神经稀疏编码的学习规则,生成原型向量集合。通过模拟复杂细胞的感受野特性,实现层次化的稀疏编码过程,提出基于神经稀疏编码的层次目标特征提取算法。并利用简化的分类器设计,完成复杂场景下的广义目标识别问题。在Caltech-101数据库上进行实验对比,结果表明本文算法相对Serre计算模型在识别正确率上有较大提高,时间复杂度增加并不明显,且更加符合生物视觉机理。

脑机融合系统综述

脑机接口是生物脑与电脑或机器之间的一种直接连接通路。脑机融合计算系统是一种基于脑机接口技术,综合利用生物智能和机器智能的新型智能融合系统,其在医疗康复、生活娱乐和军事侦查等方面具有巨大的应用开发潜力。首先从信息传输的角度简述由脑机接口到脑机融合的发展趋势;其次重点阐述脑机融合系统的概念及其研究所面临的挑战,并分三个层次介绍当前若干典型相关工作;最后介绍吴朝晖课题组在脑机融合计算系统方面的相关工作。