基于ViT与语义引导的视频内容描述生成

现有视频内容描述模型生成的视频内容描述文本可读性差且准确率不高。基于ViT模型提出一种语义引导的视频内容描述方法。利用ReNeXt和ECO网络提取视频的视觉特征,以提取的视觉特征为输入、语义标签的概率预测值为输出训练语义检测网络(SDN)。在此基础上,通过ViT模型对静态和动态视觉特征进行全局编码,并与SDN提取的语义特征进行注意力融合,采用语义长短期记忆网络对融合特征进行解码,生成视频对应的描述文本。通过引入视频中的语义特征能够引导模型生成更符合人类习惯的描述,使生成的描述更具可读性。在MSR-VTT数据集上的测试结果表明,该模型的BLEU-4、METEOR、ROUGE-L和CIDEr指标分别为44.8、28.9、62.8和51.1,相比于当前主流的视频内容描述模型ADL和SBAT,提升的得分总和达到16.6和16.8。

用小波变换及颜色聚类提取的视频图像内中文字幕

提取文字信息是基于内容的视频检索中重要内容。该文综合应用小波变换技术和颜色聚类技术提取含有中文字幕的视频图像的文字，并利用印刷中文字体特点进行噪音处理得到完整清晰的字幕文字。在进行颜色聚类时，该文提出一种8邻域颜色聚类方法，充分利用图像像素的空间相关性，使聚类具有较好的鲁棒性。实验结果表明这是一个有效的中文字幕文字的提取方法。

MFSR: Maximum Feature Score Region-based Captions Locating in News Video Images

For news video images, caption recognizing is a useful and important step for content understanding. Caption locating is usually the first step of caption recognizing and this paper proposes a simple but effective caption locating algorithm called maximum feature score region （MFSR） based method, which mainly consists of two stages： In the first stage, up/down boundaries are attained by turning to edge map projection. Then, maximum feature score region is defined and left/right boundaries are achieved by utilizing MFSR. Experiments show that the proposed MFSR based method has superior and robust performance on news video images of different types.

电视剧播出管理平台技术架构研究

目前我国电视剧的播放种类和播放渠道呈现日益上升的趋势,在播出过程中存在着播出和审查版本的一致性以及版权等一系列的问题,给电视剧播出管理提出挑战。本文提出的电视剧播出管理平台技术架构,是基于现有的技术资源试图解决上述出现的问题,期望能够为电视剧管理部门、播出机构等相关单位提供参考。