基于多模态关系建模的三维形状识别方法

为了充分利用点云和多视图两种模态数据之间的局部空间关系以进一步提高三维形状识别精度,提出一个基于多模态关系的三维形状识别网络,首先设计多模态关系模块(multimodal relation module,MRM),该模块可以提取任意一个点云的局部特征和一个多视图的局部特征之间的关系信息,以得到对应的关系特征.然后,采用由最大池化和广义平均池化组成的级联池化对关系特征张量进行处理,得到全局关系特征.多模态关系模块分为两种类型,分别输出点-视图关系特征和视图-点关系特征.提出的门控模块采用自注意力机制来发现特征内部的关联信息,从而将聚合得到的全局特征进行加权来实现对冗余信息的抑制.详尽的实验表明多模态关系模块可以使网络获得更优的表征能力;门控模块可以让最终的全局特征更具判别力,提升检索任务的性能.所提网络在三维形状识别标准数据集ModelNet40和ModelNet10上分别取得了93.8%和95.0%的分类准确率以及90.5%和93.4%的平均检索精度,在同类工作中处于先进水平.

基于网络事件和深度协议分析的入侵检测研究

针对制约NIDS(基于网络的入侵检测系统)的问题,提出了基于网络事件和深度协议分析的入侵检测模型MIDM,实现了对入侵的分析与综合。扩展了ABNF范式形式化定义网络事件,基于所提出模型重新实现了入侵检测系统。实验证明与当前主流NIDS相比,新模型有效降低了误检率和特征库冗余;具有随网络流量和特征库快速增长,而CPU占用率维持低水平增长的特性,能更好地适应高速网络环境;同时还具有一定的特征泛化和检测未知入侵的能力。

网络入侵检测中的深度协议分析方法

为了探索一种能体现基于网络的入侵检测系统规则的复杂性和联系性,并具备降低规则冗余的入侵检测方法,提出一种基于深度协议分析对网络事件进行重新解构的方法。该方法不仅将协议分析抽象到基于事件的整体上对网络事件进行层次分析,同时还将协议分析深入到具体的应用层数据里。实验表明,该方法具有更高的检测准确率和检测速率,大幅度地减少了规则库冗余,更适用于高速网络环境,同时还具备一定的检测未知入侵的能力。

基于类型标志镜头与词袋模型的体育视频分类

基于内容的体育视频分类是高效管理大量体育视频数据的关键步骤之一,为提高体育视频分类方法的正确率及泛化能力,提出一种基于类型标志镜头与视觉词袋模型相结合的体育视频分类方法.首先给出类型标志镜头的定义,并通过类型标志镜头构建该镜头视频帧训练库;然后构建基于视频帧训练库的金字塔视觉词袋模型,将视频帧标志为归一化的词频向量,使用SVM对视频帧进行分类;再通过分析视频帧分类错误的原因及表现形式提出基于时序连续性孤立帧去除算法,以消除视频帧的错误归类.由于体育视频按组合类型可分为单一体育视频与混合体育视频,因此分别提出了单一体育视频及混合体育视频2种分类算法.实验结果表明,文中算法具有实现简单、处理速度快和准确度高的优点.

一种从压缩视频流中提取关键帧的方法

关键帧提取技术是视频分析和基于内容的视频检索的基础。关键帧的使用大大减少了视频索引的数据量,同时也为视频和检索提供了一个组织框架。论文首先简单介绍目前的关键帧提取技术,然后提出了一种基于DC系数和运动矢量直接从MPEG压缩视频提取关键帧的方法,无需全部解压,计算复杂度低,大大提高了提取速度。实验证明该方法计算量小,可以较好地代表视频内容。

一种基于视频聚类的关键帧提取方法

关键帧提取技术是视频分析和基于内容的视频检索的基础。关键帧的使用大大减少了视频索引的数据量,同时也为视频摘要和检索提供了一个组织框架。该文简单介绍了目前的关键帧提取技术,提出了一种基于聚类利用颜色直方图提取关键帧的方法来克服其它方法的不足。实验证明该方法计算量小,可以较好地代表视频内容。

结合运动估计的自适应运动目标检测改进算法

自适应混合高斯模型是有效的背景建模方法,能够实时更新参考背景,实现运动目标检测.针对经典的自适应混合高斯模型中学习率的全局同一性带来的不足,结合卡尔曼滤波对混合高斯模型做出改进,利用卡尔曼滤波器预测目标的运动,在目标可能经过的范围内将学习率更改为一个较小值,以保证背景的相对不变性,使运动目标迅速变得清晰完整,在运动目标经过之后,将学习率更新为一个较大值,以保持对背景变化的较快响应.利用提出的改进算法对多组监控视频进行处理,实验结果证明了该算法可以在保证前景检测的同时抑制背景噪声,实现较好的运动目标检测效果.

篮球视频冗余数据分析与检测

体育视频因收视群体稳定,结构规则明确,商业潜力巨大而备受关注.文章在重点分析体育视频内容特征的基础上,提出体育视频冗余数据(Sports Redundancy Data简称SRD)这一概念,结合基于内容的视频分析方法和体育视频特有的时间、结构、规则等特征,采用主区域颜色(MRC)和多重区域分割算法,实现了对篮球视频"冗余"数据的分析与检测.实验结果表明,算法在查全率、查准率方面都达到了较好的效果.

云系统中面向海量多媒体数据的动态任务调度算法

在云计算环境下,对处理海量多媒体数据的作业以及任务调度与资源分配算法进行建模,在此模型下提出一种云计算环境下面向海量多媒体数据的动态任务调度算法.算法以云系统中海量多媒体数据文件的分块多副本存储形式为基础来规划并行处理任务,以文件块和副本的映射关系为特征对云系统中数据节点执行聚类,以已执行完毕任务的历史反馈信息为基础来动态调度未执行任务.实验结果表明提出的算法对提高系统资源利用率和负载均衡有显著效果.

基于DC系数和运动矢量的快速场景分割算法

场景分割技术是动态视频分析和基于内容的视频检索的基础 .以检测出来的场景作为基本单元 ,可以进一步对视频内容进行分析和建立索引 .本文旨在提出一种基于 MPEG压缩视频流的场景分割算法 ,利用 MPEG数据流中已有的 DCT DC系数和运动矢量 ,来检测场景的变换 ,从而实现场景分割 .针对实际视频流中场景突变和渐变两类变换 ,本文提出两种方法分别处理不同情况 .对于突变检测 ,该算法可以定位到帧 .由于该算法进行最小程度的解码 ,降低了计算复杂度 。

无参考屏幕内容图像质量评价

随着多客户端交互多媒体应用的快速发展,屏幕内容图像(screen content image,简称SCI)的分发和处理与日俱增.图像质量评价课题的研究是其他许多应用的基础,至今图像质量评价课题研究的重点是传统自然图像,因此,针对屏幕图像质量评价的研究就变得非常迫切和必要.客观图像质量评价算法提出的基础建立在标准图像质量评价数据库上.首先构建了一个大规模的屏幕内容图像质量评价数据库(immersive media laboratory screen content image quality database,简称IML-SCIQD).IML-SCIQD数据库包含参考图像25幅以及经过10种失真处理的1 250幅失真图像.以建立的IML-SCIQD数据库为基础,考虑到屏幕内容图像的图像区域与文本区域的视觉感知差异,在基于自然场景统计的无参考方法的启发下,提出了针对屏幕内容图像的无参考评价算法(natural scene statistics based no reference screen content image quality assessment metric,简称NSNRS).NSNRS算法首先分别计算图像区域和文本区域的质量分数,再将这两个区域的质量分数结合起来得到整幅失真图像的质量分数.该算法与其他12种经典的客观评价算法,包括全参考算法、部分参考算法与无参考算法,在IML-SCIQD数据库和SIQAD数据库上进行了性能测试和对比,结果表明,所提出的算法优于经典的无参考评价算法;就整个数据库而言,所提出的算法可以达到与全参考方法相当的性能.

复杂背景下的遗弃物检测

针对目前智能视频监控中复杂背景下的遗弃物检测存在较高的误检率,在结合混合高斯模型和三帧差分前景提取的基础上,研究了在较为复杂背景中对遗弃物事件进行自动检测和报警机制。首先,采用混合高斯模型和三帧差分结合的方法获得较为清晰的前景对象;其次,采用相交面积判定的追踪算法跟踪进入监控区域后静止不动的前景;再次,根据时间指标和距离指标判定暂时静止对象是否属于遗弃物;最后,对确认为遗弃物的对象进行报警。实验结果表明,该算法能有效的检测监控范围内的遗弃物,具有较高的检测精度和鲁棒性.

一种面向基于内容视频检索的音频场景分割方法

视频数据中的音频流包含了丰富的语义信息.在基于内容的视频检索中,对音频信息的分析是不可分割的一部分.本文主要讨论基于内容的音频场景分割,分析各种音频特征及提取方法,并在此基础上提出一种新的音频流分割方法,根据六种音频类型(语音、音乐、静音、环境音、纯语音、音乐背景下的语音和环境音背景下的语音)的音频特征对视频数据中的音频流分割音频场景.实验证明该方法是有效的,在保证一定的分割精度的同时,准确率和查全率都得到了较大的提高.

基于内容的压缩视频分段技术

根据使用的压缩域上的信息将当前国内外的视频分段技术划分为 5种类型 ,介绍了各种研究方法的特点及其不足之处 ,分析了当前视频分段技术的研究现状和存在问题 。

基于视频、音频和文本的视频分段

在分析应用视频数据的过程中，视频分段是分析，组织，应用视频数据的基础。由于视频数据的多样性，传统的分段方法不能给出令人满意的结果，一般需要通过人机交互来进行。文中将较为成熟的文本分析、语音处理、图像处理三种技术进行综合，互为补充，对视频流进行分割。文本分析的对象是语音转换成的文本、标题、注释等。语音处理包括语音识别和语音信号分析。语音识别将视频中的自然语言转换为文字。语音信号分析对视频材料中的语音成分进行基础分析。图像处理主要用来处理视频中的图像部分。文章阐述了视频流的分段层次，文本分析，语音处理算法以及镜头突变，镜头渐变识别算法的思想。

融合时空域变化信息的视频感知哈希算法研究

感知哈希(Perceptual Hashing)是多媒体数据集到摘要集的单向映射,为多媒体数字内容的标识、检索、认证等应用提供了安全可靠的技术支撑.本文提出一种融合视觉感知及时空域特征的视频感知哈希算法.算法首先对视频序列每一帧进行随机可重叠分块,并计算每个分块以像素为单位的亮度均值,在某一步长下,以同一帧的分块亮度差作为视频帧空域特征,以不同视频帧相同位置的分块亮度差作为时域特征,通过哈希量化得到时空域感知哈希,通过时空域感知哈希融合,最后得到简洁的视频唯一标识——摘要哈希.实验结果表明,该算法表现出较好的鲁棒性与区分性,通过相似度拟合图算法分析,可以实现视频篡改的准确检测及定位.

鲁棒可区分的压缩视频感知哈希算法研究

运用比较宏块互异数方法得到视频关键帧,提出基于Gabor小波分解的视频感知特征快速提取算法,针对小波分解后得到的特征矩阵,给出基于负熵目标函数的FastICA优化降维量化策略,并运用中位值量化方法得到哈希位串.采用标准格式视频验证的结果显示,该算法对亮度变化、噪音污染等常规内容操作具有良好的鲁棒性能,对感知内容不同的视频序列也有较好的区分性能.研究成果可为视频版权、视频安全和视频篡改检测提供理论支撑和技术支持.

基于直线抽取的数字视频全局文字提取的研究

提出一种基于相位编组提取数字视频文字区域的算法.本算法首先基于相位编组抽取视频帧中的直线,然后过滤掉弱边缘直线;对边缘进行尺寸限制过滤掉了不符合文字尺寸的边缘.进一步提出了像素密度α的概念,并指出文字区域的像素密度α应在某一阈值范围之内(αmin≤α≤αmax),通过像素密度α滤去了非文字区域,最后应用投影法最终确定文字区域.以上方法的结合保证了本算法的正确率和鲁棒性.最后选用不同类型的视频素材对本算法进行了实验,表明本算法具有较好的正确率和较快的计算速度.

融合音频特征的比赛场地主颜色聚类算法

针对当前手动分割视频获取主颜色实验帧序列,导致算法鲁棒性差,自动化程度低等问题,着重分析了体育比赛的音频特征及场地颜色特征,提出一种融合音频特征的主颜色聚类算法。实验结果表明,该算法不需人工预处理,针对不同比赛场地具有良好的鲁棒性,通过音频特征的辅助分析,有效提高主颜色提取准确率,同时降低时间复杂度。

高速公路交通仿真软件开发(英文)

为能对汽车控制系统进行有效的实地测试,从而设计开发了基于英国典型高速公路路段的交通模型。该模型提供了对英国高速公路交通流量模拟、路面状况模拟、交通规则模拟及路面用户的微观行为模拟。驾驶员模型包括道路汽车跟随模拟和汽车超车模拟。通过对本交通模型微观参数的优化,使所开发的交通模型能与实地测试数据相符合,从而能更真实地仿真实际高速公路的环境。基于该模型所开发出的具有图形用户界面的能为汽车控制系统的测试与评估提供有效的支持。