基于边界归类的新闻视频故事分割算法

为有效组织和浏览新闻视频,提出了一种基于边界归类的新闻视频故事分割算法.该算法视镜头边界为候选故事边界,并定义新闻基本处理单元划分新闻视频.算法分为新闻基本处理单元的获取和新闻基本处理单元分析两部分.前者采用镜头分割和镜头标定对原始视频进行合理划分,获取基本处理单元边界,有效缩小故事边界判定范围;后者对基本处理单元内的字幕文本进行分析,实现了字幕文本分类和主题字幕相似性比较,并结合静音特征,从音视频两方面判定故事边界,得到最终的分割结果.实验结果表明,该算法能有效描述新闻故事边界,准确分割新闻故事单元,实现对新闻视频的语义划分,为新闻视频检索、导航等应用提供前期辅助.

一种有效的新闻视频主题字幕检测方法

提出一种新的有效的新闻视频主题字幕检测方法。利用像素的空间量化亮度值计算局部帧差变化,以便检测新闻视频字幕的出现帧和消失帧,并建立4条规则来进一步区分主题字幕和非主题字幕,然后对同一主题字幕所在帧利用多帧结合的方法生成两个候选的主题字幕文字检测帧,选择其中之一进行文字区域的定位和提取;最后用投影法分割字符,并对投影法产生的错误分割字符的常见情况,提出相应的解决方法。实验结果表明了该方法的有效性。

多主题的图像描述生成方法研究

基于Encoder-Decoder神经网络结构的图像描述生成方法通常假定任何主题下的词分布是一致的,导致解码器拟合了一般意义上的词分布.针对于此,本文提出了一种基于多主题的图像描述生成方法 TIC,在传统的Encoder-Decoder结构基础上,引入主题语言模型和图像主题模型拟合图像描述混合概率模型,基于该模型,设计了一种基于多主题的神经网络,并采用独立训练组件的方式.通过大量实验表明,TIC在BLEU,METEOR,CIDER,ROUGE性能上比传统方法表现得更好.

跨媒体语义关联增强的网络视频热点话题检测

跨媒体网络视频热点话题检测成为新的研究热点.然而,描述视频的文本信息较少,使得文本语义特征空间稀疏,导致文本语义特征间关联强度较弱,增加了挖掘热点话题的难度.现有方法主要通过视觉信息丰富文本语义特征空间.然而,由于视觉与文本信息间的异构性,导致同一话题下文本与视觉语义特征差异较大,这进一步降低了同一话题下文本语义间的关联强度,也给跨媒体网络视频热点话题检测带来巨大挑战.因此,提出一种新的跨媒体语义关联增强方法.首先,通过双层注意力,从单词和句子2个级别捕捉文本核心语义特征;其次,通过理解视觉内容,生成大量与视频内容高度相关的文本描述,丰富文本语义空间;然后,分别通过文本语义相似性和视觉语义相似性,构建文本语义图和视觉语义图,并构造时间衰减函数,从时间维度建立跨媒体数据间的相关性,以此增强文本与视觉语义间的关联强度,平滑地将2种语义图融合为混合语义图,实现跨媒体语义互补;最后,通过图聚类方法检测出热点话题.大量实验结果表明,提出的模型优于现有方法.