Reaction视频中用户弹幕信息交互行为的情感反应生成机理研究

深入挖掘Reaction视频中弹幕信息交互行为的情感反应机理有助于理解用户弹幕创作背后的情感生成原因及情感变化过程。本文基于情感反应模型,利用定向内容分析法对哔哩哔哩网站中11个热门视频的弹幕信息资源、视频内容以及reactor反应情况展开编码研究,构建了Reaction视频中用户弹幕信息交互行为的情感反应生成机理模型。研究发现,Reaction视频弹幕信息交互行为中的情感反应生成机理总体上遵循“信息刺激-情感反应”的路径,信息刺激有时会独立唤醒情绪或特定情感态度,有时也会通过唤醒特定情感态度进而影响情绪或内化情感态度的生成。该模型有助于提升情感反应理论在计算机协助交流中的情境化探索,也将为社交媒体中用户与信息交互提供优化建议。

Semantics in Image and Video Retrieval Systems

Multimedia document annotation is used in traditional multimedia databasesystems. However, without the help of human beings, it is very difficult to extract the semanticcontent of multimedia automatically. On the other hand, it is a tedious job to annotate multimediadocuments in large databases one by one manually. This paper first introduces a method to constructa semantic net-work on top of a multimedia database. Second, a useful and efficient annotationstrategy is presented based on the framework to obtain an accurate and rapid annotation of anymultimedia databases. Third, two methods of joint similarity measures for semantic and low-levelfeatures are evaluated .

新闻视频挖掘技术研究

新闻视频挖掘是一个新兴的研究领域,也是多媒体数据挖掘的典型代表。本文对新闻视频挖掘技术进行了全面深入的讨论,首先从概念上对新闻视频挖掘进行了界定,提出了新闻视频挖掘的层次框架和技术框架,指出新闻视频挖掘包括低层视频挖掘和高层视频挖掘两个层次。其中,低层视频挖掘是利用数据挖掘的方法对视频内容进行分析的过程,而高层数据挖掘则是在低层挖掘的基础上进一步发现视频中的知识的过程。新闻视频挖掘的技术框架则对挖掘所涉及到的具体技术进行了分析。最后,对新闻视频挖掘中的结构挖掘、语义内容挖掘、视频摘要、趋势挖掘、关联挖掘等任务进行了详细的阐述,并对各种任务举出了具体的示例加以说明。

面向事件的影片摘要生成方法

对视频摘要的研究已成为视频应用领域十分活跃的课题。为了获得更加实用的视频摘要,在介绍视频摘要概念和用途的基础上,依据目前的研究状况和影片类视频的特点,提出了一种适合于故事类影片的面向事件的影片摘要生成方法,并首先对该方法的细节进行了描述。该方法还使用了一种场景重要程度的评价算法,此算法的特点在于综合利用了影片中的多种媒体特征,其不仅考虑了运动特性,还考虑了感人内容对场景重要程度的影响。通过对摘要进行可用度测试和分析的结果,表明,此种方法生成的影片摘要具有较好的可用度。

音频高层语义分析

为跨越语义鸿沟,提出了一种提取音频中高层语义概念的方法。该方法先用隐马尔可夫模型(HMM)建立对应于分析窗口的低层语义概念,即基本声音语义事件(basic semantic-audio event,BE);然后以音框为单位将声音信号通过短时傅里叶变换及ICA处理来得到对应于HMM模型的可观察符号;接着用贝叶斯决策排除语义窗口对应声音段中的非预定义BE后,按贝叶斯公式所得最大后验概率为准则得到此语义窗口的一个基本声音语义事件组(group of BE,)GBE;最后采用高层语义逻辑定义来描述GBE与高层声音语义概念间的联系,结合由实例训练得到的高层语义逻辑定义最终得到相应语义窗口的高层语义声音概念(high level audio semantic concept,HC)。实验表明此方法能提取与人思维中相似的高层语义概念,在一定程度上可跨越语义鸿沟。

基于上下文信息的新闻故事单元分割

为了有效检索和管理新闻视频资源,提出了一种利用多模态特征、基于上下文信息的新闻故事单元分割方法.首先利用字幕变化、音频类型和视频镜头类型信息将新闻镜头序列转换成为相应的关键词序列,使新闻故事单元分割转换成为文体序列分割的问题;然后应用一种有效的序列分割模型——条件随机场,来分割新闻故事单元.对多段视频的测试结果证明了该方法的有效性,取得了查全率为72.9%、查准率为88.4%的较好结果.

一种通用的基于基本语义单元的体育视频内容分析框架

体育视频内容分析的研究现状集中在语义标注 ,对体育视频的句法分段和框架的研究较少 .本文在分析了体育视频基本特征的基础上 ,提出了体育视频中基本语义单元 (Basic Sem antic U nit,简称 BSU单元 )的概念 ;继而提出了一种基于 BSU的体育视频内容分析的通用框架 ;并且以足球视频为例 ,实例化了这种通用的体育视频内容分析框架 .初步的实验结果表明 ,这种基于 BSU的体育视频内容分析框架是有效和可行的 .

基于潜在语义分析的视频检索

潜在语义分析技术是建立在视频分析基础之上的,它通过某种映射关系来建立视频特征矩阵,实现了基于内容的视频检索。阐述了潜在语义分析技术,进行了视频颜色和纹理特征提取研究,实验结果表明,潜在语义分析对于视频内容检索效果较好。

视频语义信息的研究

图象语义的研究是当前图象领域的热点之一。论文对图象的语义的客观和主观进行了分析,并提出了一个客观语义与主观语义结合的语义分析模型。

多视频摘要技术:方法、应用及挑战

多视频摘要技术近年来受到了国内外学者的广泛关注,它是指通过对视频结构和内容的分析,从多个相关视频文件中提取出有意义的部分,将它们以一定方式进行组合,形成简洁的、能够充分表现语义内容的概要,目的是提供快捷的浏览和查询服务。目前该技术还处于起步阶段,实际的应用系统很少,有关体系结构、技术方法仍需要深入研究,更多的应用方向还有待开拓。在介绍研究意义的基础上,对多视频摘要的研究现状和主要方法进行了归纳、评述,探讨了一些应用方向,指出了目前研究面临的重点问题以及发展趋势。

视频情报分析体系研究

视频情报分析是信息化条件下情报分析领域出现的一个崭新的研究方向。提出的视频情报分析体系,包括概念体系和技术体系两个部分。概念体系对视频情报分析的概念进行界定,阐明视频情报分析与其他技术之间的关联,对视频情报分析的任务和概念层次结构进行分析。根据概念体系,对视频情报分析的技术体系进行分析,明确需要研究的内容和需要解决的关键技术。

基于OWL本体扩展的视频语义内容分析

随着可获得视频数据的快速增长,迫切需要有效的方法在语义层理解和管理视频数据。对OWL语言进行扩展,提出了V-OWL本体描述框架,支持视频内容蕴含的时空关系和不确定性关系的建模,使用基于贝叶斯网络的B-图描述模型,将V-OWL本体概念、关系映射为B-图中的节点、边,利用贝叶斯网络训练推理算法实现视频高层语义的自动推理发现。实验结果显示,V-OWL本体描述框架对复杂视频内容具有很好的描述能力,基于V-OWL的视频内容分析框架对视频高层语义探测具有较高的查准率和查全率。

结合语义概念和双流特征模型的复杂事件检测

针对已有复杂视频事件检测方法未能有效利用语义概念信息的问题,提出了结合语义概念和双流特征模型的复杂事件检测方法.该方法采用动作检测器和对象概念检测器,得到动态概念和静态概念.提出针对任务的优选概念子集生成方法,并以此构建基于优选概念子集的视频事件检测器.同时构建光流图像和空间流序列的双流特征卷积神经网络模型加LSTM的事件分析表达模型,进而将两流事件分析结果进行融合分类检测.最后将基于语义概念的事件分类分析结果和基于双流模型的事件分类分析结果进行决策融合,最终检测出复杂事件.在典型的复杂事件数据集上将所提算法与相关算法进行了对比试验.结果表明,所提的方法有了实质性的改进,准确率达到了81.1%,相比于最优算法提高了5.7%.

基于内容的视频语义分析关键技术

分析了视频数据与文本数据的差异,以及视频数据在视频分析检索方面存在的问题。从视频内容分析领域的研究热点出发,分别对视频语义库、与视频分析相关的视频低层特征、视频对象划分与识别、视频信息描述与编码等方面的技术进行了分析和对比。并提出了一个视频语义分析的框架和分析流程。

小波-神经网络在视频文本自动检测中的应用

数字视频数据中的文本能提供重要的语义信息，用具有良好时频局部特性和变尺度特性的小波分析方法，提取图像中的尺度一空域特征，经神经网络分类器进行分类后，自动检测视频数据中的文本信息，为基于内容的视频检索提供索引．实验表明该检测方法效果良好。

视频语义分析内容表征方式研究

从视觉和声音两方面对视频语义内容的表征技术进行研究。采用能反映时间语义约束、语义变化的帧切片策略选取关键帧,用时空注意力模型选择空域的内容,用分类器对这些区域进行基本语义分类识别,建立不同时间声音段的随机模型,进行声音语义内容表示和基本声音语义提取。实验表明,视频内容表征方式能简洁地表示视频的语义内容,有效提取视频基本语义。

用户生成内容视频社区用户关系网络研究--以B站为例

[目的/意义]探究用户生成内容(UGC)视频社区用户关系网络特征,从而有助于理解该类型社区的信息传播规律与用户交互行为。[方法/过程]以国内知名UGC视频社区代表--B站为研究对象,通过网络爬虫方式获取B站用户样本数据,基于社会网络分析方法,对B站社区用户关系网络特征进行实证分析。[结果/结论]整体样本网络具有小世界性质与无标度网络特征;用户关系网络呈现低密度和低凝聚性,信息传播效率低;网络集中趋势不明显,社区整体呈现出扁平化特征,不存在群体派系林立现象;社区成员角色分明,资源分配不均,但不会被少数意见领袖控制。

基于人物关系分析的视频自动摘要算法

为了更好地反映视频中的语义内容,在系统总结已有的基于低层特征的视频自动摘要算法的基础上提出了两种基于人物关系分析的新摘要算法,即适应于快速预览需求的One-Shot摘要算法和适应于个性化定制需求的用户自适应摘要算法。与已发表的大部分基于低层特征的视频摘要算法相比,提出的这两种摘要算法能够更好地反映视频中的语义信息。在实际电影视频数据上的实验结果证明了所提算法的有效性。

基于语义人脸的视频新闻标注

视频和图像中的人脸蕴涵了丰富的语义信息,可以使用人脸对视频内容进行分析与标注,尤其是视频新闻节目。而要达到这样的目的,就必须先将对视频新闻具有语义价值的人脸从视频流中检测出来。本文提出基于语义人脸检测的视频新闻语义聚类与标注算法:在这个算法中,首先使用肤色模型检测人脸可能出现区域,然后提取人脸可能区域的独立成分特征,用训练好的支持向量机检测出所有人脸,套用语义人脸模板过滤出最终的语义人脸集合,最后通过高斯混合聚类,将视频新闻标注为主持人镜头、访谈类新闻镜头和其他新闻故事镜头三类。实验表明,该算法在视频新闻结构化中可以得到较好的应用。

视频摘要系统的研究与实现

基于安防领域需要快速检索监控视频中嫌疑人信息需求。本文设计了一种视频摘要系统,深入分析了该系统的设计目标和组成模型。在具体实现方面,该系统通过结合目标形状特征和运动特性来对目标进行分类,并依据目标的运动轨迹提取视频关键帧的方法合成视频摘要。系统完成后通过导入监控视频文件生成摘要验证测试,该视频摘要系统能在69.44%压缩比的前提下达到零误报率。实验结果,该视频摘要系统压缩比高,识别误差小,能极大提高检索视频中信息的效率。