基于语义人脸的视频新闻标注

视频和图像中的人脸蕴涵了丰富的语义信息,可以使用人脸对视频内容进行分析与标注,尤其是视频新闻节目。而要达到这样的目的,就必须先将对视频新闻具有语义价值的人脸从视频流中检测出来。本文提出基于语义人脸检测的视频新闻语义聚类与标注算法:在这个算法中,首先使用肤色模型检测人脸可能出现区域,然后提取人脸可能区域的独立成分特征,用训练好的支持向量机检测出所有人脸,套用语义人脸模板过滤出最终的语义人脸集合,最后通过高斯混合聚类,将视频新闻标注为主持人镜头、访谈类新闻镜头和其他新闻故事镜头三类。实验表明,该算法在视频新闻结构化中可以得到较好的应用。